Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 江苏大学葛慧敏获国家专利权

江苏大学葛慧敏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉江苏大学申请的专利一种基于Yolov7-Retina的驾驶分心实时检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118476811B

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410555473.1,技术领域涉及:A61B5/18;该发明授权一种基于Yolov7-Retina的驾驶分心实时检测方法是由葛慧敏;刘家齐;肖鹏;欧阳宁;吴沛桐;张文鑫设计研发完成,并于2024-05-07向国家知识产权局提交的专利申请。

一种基于Yolov7-Retina的驾驶分心实时检测方法在说明书摘要公布了:本发明公开了一种基于Yolov7‑Retina的驾驶分心检测方法,包括构建驾驶分心判别模型、模型训练、模型验证和驾驶分心实时监测,对实时视频进行检测并处理,将实时视频数据输入到训练验证后的驾驶分心实时判别模型,统计分心帧数及连续出现分心帧数的总时长;最终输出驾驶分心判别结果。有益效果:本发明通过结合Yolov7模型和Retina模型能够高精度地检测驾驶员的动作和姿态,更准确地分析其驾驶行为;能够基于轻量化网络结果,提高了检测效率,使得算法能于轻量化车载终端部署;通过实时处理和分析行为数据能够及时发现驾驶员的驾驶行为的变化,有助于及时对驾驶员进行提醒。

本发明授权一种基于Yolov7-Retina的驾驶分心实时检测方法在权利要求书中公布了:1.一种基于Yolov7‑Retina的驾驶分心检测方法,其特征在于,包括以下步骤: 步骤一、构建驾驶分心判别模型,构建基于Yolov7‑Retina的驾驶分心判别模型; 步骤二、模型训练,采集自然驾驶状态下驾驶员车载监控视频;将视频拆解成静态图像数据集,根据图像数据将危险驾驶行为进行分类并提取驾驶行为特征值; 将分类后的危险驾驶行为图像数据集进行标定,将标定后的各数据集中大于50%并小于90%的数据作为训练集输入步骤一的驾驶分心判别模型进行模型训练; 步骤三、模型验证,将标定后的各数据集中剩余的数据作为测试集,计算每类标签的查准率和查全率,得到合格的驾驶分心实时判别模型; 步骤四、驾驶分心实时监测,对实时视频进行检测并处理,将实时视频数据输入到训练验证后的驾驶分心实时判别模型,统计分心帧数及连续出现分心帧数的总时长;最终输出驾驶分心判别结果; 所述步骤一中驾驶分心判别模型的构建方法如下: 首先、危险驾驶行为初步判别,通过Yolov7模型得到驾驶员驾驶行为的预测框,同时得到各个危险驾驶行为的坐标数据; 然后、二次验证,对初步判别的图像数据通过Retina模型提取人脸关键点,计算人眼纵横比的均值是否低于阈值,以此对Yolov7模型结果进行二次验证; 所述步骤二中Yolov7模型的训练方法如下: S2.1、Yolov7网络输入端对输入数据进行预处理; S2.2、预处理后的数据进行特征提取,生成特征图供高层的网络使用,主干网络将输入的图像分割成网格,每个网格在全连接层通过划分边界框来检测目标存在于网格内的概率,记为Pobject,边界框的准确度由模型预测的框与被标记的框大小的交并比IoU来表示,计算出各个边界框的置信度confidence: ;; 其中,B为预测框,Bgt为真实框; S2.3、通过Yolov7模型得到驾驶行为的预测框bbox bounding box,Yolov7模型对每个预测框,输出预测框中心坐标、预测框高度和宽度、预测框置信度和识别置信度: bbox={Cx,Cy,height,width,boxconf,clsconf}式中,bbox表示目标检测预测框的相关信息集合,Cx表示输出预测框中心点横坐标,Cy表示输出预测框中心点纵坐标,height表示预测框高度,width表示预测框宽度,boxconf表示预测框置信度,clsconf表示识别置信度; S2.4、对每类驾驶行为标记,包含对应的坐标位置和置信度Kx,Ky,Kconf,其中每张图片至少包含一类标记信息: ; 共定义10个驾驶行为类别,n=0,1,...,9;Kx,Ky表示每一个驾驶行为,conf表示该驾驶行为的置信度; S2.5、增强模型的表达能力,原始图像经过若干CBL,实现特征提取,Yolov7模型中CBL表示的是Convolutional Block Layer,即卷积块层;CBL是Yolov7网络中提取图像特征的基本构建单元;CBL由一系列的卷积操作组成,包括对输入图像进行特征提取的卷积层、加速训练过程并提高模型的鲁棒性的批归一化层和引入非线性因素的LeakyReLU激活函数层; S2.6、对原始图像特征的综合提取,Yolov7模型中MCB、MX为若干CBL组合; S2.7、对图片作放大处理,Yolov7模型中上采样; S2.8、Yolov7模型中NMS即非极大值抑制,经NMS前模型输出框信息{框中心横坐标Cx,框中心纵坐标Cy,框高度height,框宽度width,预测框置信度boxconf,危险行为类别cls}; 通过迭代的形式,以最大得分的框去与其他框计算面积交并比IoU操作,并过滤IoU大于0.5的框,保留可信度最高的危险驾驶行为识别结果及类别;经NMS过滤后,输出的危险驾驶行为照片;照片中包括代表驾驶行为出现区域的矩形框,代表危险驾驶行为类别的上方文字,代表预测框置信度boxconf的后面分数; S2.9、Yolov7模型中实现不同特征尺度信息的融合,SPPCSP模块为两部分:一部分进行了SPP结构处理,一部分通过1*1的卷积进行通道数处理,最终将两部分进行concat处理; SPP结构是利用四个不同尺度的最大池化进行处理,最大池化的池化核大小分别为13x13、9x9、5x5、1x1,1x1为无处理; S2.10、采用最优的Yolov7模型进行训练,将轻量级的卷积神经网络架构ShuffleNetv2替换成网络骨干结构,并将1个注意力机制CBAM嵌入模型头部; S2.11、经过ShuffelNetv2骨干结构,其输入输出通道数相同,使得内存访问量最小;取消分组卷积,降低内存访问量;采用1×1conv单通道并行加速;通过通道间混洗取代逐元素操作; S2.12、通过SoftMax分类器输出判断的驾驶行为,并计算模型损失,并以此调整模型训练的梯度,进行下一次训练; 所述步骤二中Retina模型的训练使用初步判别的图像数据训练,通过单阶段多任务深度学习模型检测人脸关键点,其包含特征提取、锚框生成、分类和回归网络以及损失函数,各流程如下: S3.1、特征提取器:使用深度卷积神经网络来提取图像中的特征; S3.2、锚点框Anchor Boxes:提供候选框的初始位置和尺寸,在图像中的不同位置和尺寸处进行密集采样,以覆盖不同尺度和长宽比的目标; S3.3、分类网络Classification Network:确定每个候选框中是否存在人脸,采用二元分类器,用于区分人脸和非人脸区域,利用MobileNet网络模型,以实现轻量化; S3.4、回归网络Regression Network:对候选框进行微调,定位人脸的边界框,提供人脸关键点的位置; S3.5、损失函数Loss Function:Retina模型包括训练网络的损失函数,损失函数由分类损失和回归损失组成,其计算公式如下: ; 式中,λ1、λ2、λ3为权重系数,中,pi是网络预测出的第 i 个锚点框中包含人脸的概率,pi* 为人脸的数据标签, 中,ti,ti* 分别为预测锚点框的坐标和数据标签的坐标,包含人脸框4个定位数据:中心横坐标,中心纵坐标,宽度,高度;中,针对人脸的五个关键点,进行预测,li是数据标签中5 个人脸关键点坐标集合,li* 是网络预测的人脸关键点坐标集合;Lpixel是各人脸关键点预测的损失函数,并计算人眼纵横比,判断是否低于阈值; S3.6、将损失函数进行反向传播,调整模型训练时梯度,进行下一次训练直至模型精度曲线收敛; 步骤四中对实时视频进行检测并处理,将实时视频数据输入到训练验证后的驾驶分心实时判别模型,统计分心帧数及连续出现分心帧数的总时长;最终输出驾驶分心判别结果,具体方法如下: S4.1、读取视频流数据,并读取帧率fps,预处理时将图像裁剪至像素,并输入至Yolov7‑Retina模型; S4.2、判断此刻驾驶员状态,采用连续累加算法,统计各类危险驾驶行为的总帧数; S4.3、若累计帧数时,则判为轻度分心驾驶;若累计帧数时,则判为分心驾驶;若连续1秒没有危险驾驶行为出现,则记录清零; 步骤四中对实时视频进行检测并处理的方法如下: S5.1、输入端对输入数据预处理,将上述包含驾驶员正常驾驶及危险驾驶图像类数据集和标签作为输入图像默认缩放Resize为大小,同时进行数据增强; S5.2、数据进入Backbone进行特征提取,生成特征图供高层的网络使用,并将ShuffleNetv2替换为网络Backbone,将模型头部嵌入注意力机制CBAM; S5.3、驾驶行为数据在Head进行最终输出,将分类和检测过程分离,包括分类和回归两个分支;其中分类分支使用二元交叉熵BCE损失函数,回归分支使用分布焦点损失DFL函数和CIoU损失函数,上述三个损失函数根据权重比例进行加权。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江苏大学,其通讯地址为:212013 江苏省镇江市京口区学府路301号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。