辽宁科技大学赵骥获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉辽宁科技大学申请的专利一种基于改进YoloV5和Openpose的分心驾驶行为识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116403194B 。
龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310088938.2,技术领域涉及:G06V20/59;该发明授权一种基于改进YoloV5和Openpose的分心驾驶行为识别方法是由赵骥;杨楠设计研发完成,并于2023-02-09向国家知识产权局提交的专利申请。
本一种基于改进YoloV5和Openpose的分心驾驶行为识别方法在说明书摘要公布了:一种基于改进YoloV5和Openpose的分心驾驶行为识别方法,包括:改进YoloV5:在YoloV5的浅层网络上添加一个预测头,对YoloV5的损失函数进行优化;改进Openpose:借鉴MobileNet网络的思想,利用逐点卷积升维的工作原理,解决深度可分离卷积在低维空间中信息丢失的问题,将其应用到轻量级Openpose的主干网络当中,还在网络中引入CA结构的注意力机制;将改进的YoloV5与改进的Openpose相结合,设计新的二阶段行为识别网络方法,依照距离特征和角度特征作为识别结果的判断条件,使整个分心驾驶的识别过程既能保证检测速度,又能在检测精确度的方面进一步提高。
本发明授权一种基于改进YoloV5和Openpose的分心驾驶行为识别方法在权利要求书中公布了:1.一种基于改进YoloV5和Openpose的分心驾驶行为识别方法,其特征在于,包括如下步骤: 步骤一:图像预处理:通过成像设备捕捉图像,当图像输入后,对输入图像进行预处理操作,抑制图像中的噪声,改善图像清晰度,处理图像缺陷; 步骤二:改进YoloV5:为缓解目标尺寸剧烈变化带来的负面影响,在原始YoloV5的浅层网络上添加一个预测头,使得整个目标检测网络能够捕捉到更多的细节信息;同时对YoloV5的损失函数进行优化,所述优化使其能够更好的在互斥类别数据集上进行训练,提高模型的收敛效果; 步骤三:改进Openpose:在MobileNet网络思想基础上,利用逐点卷积升维的工作原理,将其应用到轻量级Openpose的主干网络当中,解决深度可分离卷积在低维空间中信息丢失的问题,同时还在网络中引入CA结构的注意力机制,避免计算资源利用不充分问题; 步骤四:将步骤二改进的YoloV5与步骤三改进的Openpose相结合,设计一种新的二阶段行为识别网络方法,依照距离特征和角度特征作为识别结果的判断条件,使整个分心驾驶的识别过程,既能保证检测速度,又能在检测精确度的方面进一步提高; 所述步骤二中,为充分利用好Backbone在不同尺度上提取到的特征信息,让改进后的目标检测网络能够更好的适应多尺度小目标数据集,对YoloV5预测头改进,在浅层网络上添加一个P2预测头,在特征图每个像素点对应的感受野重叠区域较小时保证网络能够捕获到跟多的细节信息,使网络能更准确的检测到小尺寸目标,以缓解目标尺寸剧烈变化带来的负面影响,能够检测到数据集图像中香烟和电话的存在; 所述步骤二中,还对YoloV5的损失函数进行优化,使用概率和输出为1的Softmax函数对其进行优化,将所有标量转换成概率分布问题,不单纯的判断谁大谁小,使其更针对于对应的类别互斥数据集场景; 对于任意实数矢量长度为T,Softmax把它压缩在长度为T、取值在0,1区间的实数矢量,且矢量中各个元素之和为1,Softmax函数公式在数学上定义为: 对于公式中的ex,当x较大时,在代码实现的过程中会出现内存溢出的情况;为了使Softmax在数值上更稳定,我们将各项指标的数值都处理在同一个数量级别上,首先将Softmax函数分子和分母同时乘以一个常数W,再使用log函数进行标准化,公式如下: 其中,z为输出向量,zi和zt是其中的一个元素,分别表示z向量中第i个和第t个输出类别的值;将Softmax函数输出的向量与目标标签向量做乘积运算得到最终的结果,以这种方式对损失函数进行优化可以更好的适用在应用场景上,有效的提高整体模型的收敛效果; 所述步骤四中,针对吸烟和接打电话的行为,通过分析这两种行为动作的一致性,将步骤二改进的YoloV5与步骤三改进的Openpose相结合,设计出一种新的二阶段行为识别网络方法,包括如下: 第一阶段: 首先,在吸烟和接打电话的过程中,目标物体与鼻子和耳朵之间的距离是最近的;其次,手肘都能形成一定的角度特征,并且这个角度小于90°;通过计算它们的距离特征和角度特征来判断这个人表现出了哪些行为; 因此,先通过YoloV5框架得到该目标物体在图像上的中心点位置M的坐标,表达式如下: M=xi,yi 其中,xi代表中心点横坐标,yi代表中心点纵坐标; 第二阶段: 再使用改进后的轻量级Openpose框架,对人体姿态18个骨骼关键点的位置信息进行提取,通过骨骼关键点的热力图和点与点之间的对应关系来组成人体骨架;记录鼻子关键点位置坐标、右耳关键点位置坐标和左耳关键点位置N坐标,表达式如下: N=xj,yj 其中,xj代表关键点横坐标,yj代表关键点纵坐标; 通过电话与左耳或右耳的欧几里得距离来判断图像中的人是否有接打电话的行为,同样通过香烟与鼻子的欧几里得距离来判断图像中的人是否有吸烟的行为;欧几里得距离d计算公式如下: 通过对欧几里得距离的计算,当结果超过一定阈值时,即可判断这个人是否有吸烟或者接打电话的行为;完成距离特征的判断,其次还需要判断角度特征,当人发生吸烟或接打电话的行为时,手肘是成一定角度进行弯曲,我们通过计算手腕、手肘和肩膀之间的角度大小θ进行判断;通过姿态估计框架获得一侧手腕关键点位置A坐标、一侧手肘关键点位置B坐标和一侧肩膀关键点位置C坐标,分别记为公式: A=x4,y4 B=x3,y3 C=x2,y2 根据三个点的坐标信息计算各个边的边长,分别为: c=|AB| a=|BC| b=|AC| 将上述边长a、b、c,通过余弦定理公式,计算手肘关节角度: 由于人与摄像头的距离能够影响两个关键点之间的距离,因此此处引入角度特征θ作为距离特征的约束。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人辽宁科技大学,其通讯地址为:114000 辽宁省鞍山市立山区千山中路189号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。