买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安交通大学申请的专利一种基于多模态特征融合的疲劳驾驶检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119760637B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411820583.2，技术领域涉及：G06F18/25；该发明授权一种基于多模态特征融合的疲劳驾驶检测方法及系统是由叶洛奇;陈曦;冯沛华设计研发完成，并于2024-12-11向国家知识产权局提交的专利申请。

本一种基于多模态特征融合的疲劳驾驶检测方法及系统在说明书摘要公布了：本发明公开了一种基于多模态特征融合的疲劳驾驶检测方法及系统，该方法通过DROZY数据集作为实施例，对该发明方法进行说明。通过对数据集进行预处理，提取出时间上一一对应的图像数据与PSG时序数据，图像与时序数据供后续系统输入使用。对两种模态数据提取浅、中、深层网络的特征信息。得到两种模态的3个特征块维数调整一致后，通过残差卷积注意力模块优化特征信息。再经过权重计算方法得到单模态数据不同层的权重信息，再由权重信息与原特征块进行多尺度权重融合，得到图像数据与时序数据的特征向量提取结果。两模态的特征向量数据进行融合，由融合特征通过分类器输出分类结果，实现疲劳驾驶检测。

本发明授权一种基于多模态特征融合的疲劳驾驶检测方法及系统在权利要求书中公布了：1.一种基于多模态特征融合的疲劳驾驶检测方法，其特征在于，包括以下步骤： 获取多模态数据的浅层特征、中层特征及深层特征； 对多模态数据的浅层特征、中层特征及深层特征进行处理，获取各层特征块的权重； 对各层特征块的权重进行融合，得到最终的多模态特征向量； 对最终的多模态特征向量进行处理，获取疲劳驾驶分类结果，实现疲劳驾驶检测； 所述获取多模态数据的浅层特征、中层特征及深层特征，具体为： 获取PSG时序信号数据及预处理的图像数据；其中，多模态数据包括图像数据及PSG时序信号数据，预处理的图像数据为人脸面部图像数据； 采用ResNet18神经网络模型提取预处理的图像数据的初始浅、中、深层网络的特征信息； 采用LSTM神经网络提取PSG时序信号数据的初始浅、中、深层网络的特征信息； 对PSG时序信号数据及预处理的图像数据的初始浅层特征进行降维处理，对PSG时序信号数据及预处理的图像数据的初始深层特征进行升维处理，初始浅层特征维度及初始深层特征维度与初始中层特征的维度一致，得到多模态数据的浅层特征、中层特征及深层特征； 所述对多模态数据的浅层特征、中层特征及深层特征进行处理，获取各层特征块的权重，具体为：分别对单模态的浅层特征、中层特征及深层特征使用残差卷积注意力模块优化特征信息；通过残差卷积注意力模块完成特征优化后，使用权重计算方法确定各层特征块的权重；其中，残差卷积注意力模块连接了通道注意力模块和空间注意力模块，并在注意力模块中加入残差防止梯度消失； 权重计算方法包括：对优化特征信息进行全局池化处理再经过一个1*1的卷积核卷积，将得到的结果与空间注意力模块的输出做除法运算，得到三个重新分配的权重值，对其进行归一化得到各层特征块的权重； 所述对各层特征块的权重进行融合，得到最终的多模态特征向量，具体为：对每个模态的各层特征块的权重融合，然后将融合后的各模态特征向量通过哈达玛积进一步融合，得到最终的多模态特征向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安交通大学，其通讯地址为：710049 陕西省西安市碑林区咸宁西路28号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。