买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于多维度跨模态信息交互的驾驶员意图预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116110018B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310117431.5，技术领域涉及：G06V20/56；该发明授权一种基于多维度跨模态信息交互的驾驶员意图预测方法是由薛梦凡;郑建楠;彭冬亮;李焘;陈志坤;宋怡然设计研发完成，并于2023-01-20向国家知识产权局提交的专利申请。

本一种基于多维度跨模态信息交互的驾驶员意图预测方法在说明书摘要公布了：本发明提供一种基于多维度跨模态信息交互的驾驶员意图预测方法，应用于智能驾驶领域。本发明设计了一个高效的视频分类网络来分别提取车内、外视频序列的通道‑时序特征，在特征提取过程中，本发明通过设计一种跨模态通道‑空间加权机制来实现车内、外视频序列特征间的信息交互，此外，本发明还提出一种对比学习模块来迫使两个特征提取网络学习到车内、外视频序列向量表示的结构知识。然后，通过基于残差结构和GRU分类器的预测模块获得初步预测结果，接着利用GPS信息校正初步预测结果来得到最终预测结果。

本发明授权一种基于多维度跨模态信息交互的驾驶员意图预测方法在权利要求书中公布了：1.一种基于多维度跨模态信息交互的驾驶员意图预测方法，其特征在于,该方法具体包括以下步骤： 步骤S1：视频帧采样； 将输入视频V按相等间隔分为T个视频段，即V＝V1,V2,…VT，每个视频段随机抽取一帧，得到T帧图像，经过数据增强手段后，调整图像大小，以此作为视频序列特征提取网络的输入，所述的输入视频包括车内、外视频； 步骤S2：视频序列特征提取网络对车内、外视频帧序列进行特征提取； 在步骤S1的视频序列特征提取网络中插入了通道注意力模块、长期时序模块、短期时序模块，在每个Residual-Block中，使用通道注意力模块和短期时序模块的串行做和代替前向通道的Conv1，并在残差通道中插入长期时序模块；对步骤S1处理后的视频帧序列进行特征提取，得到车内、外视频序列特征； 步骤S3：跨模态通道-空间加权机制通过跨模态交叉加权的方式实现有效的多模态特征信息互补； 使用CBAM模块分别提取车内、外视频序列特征的通道和空间权重，然后将车内视频序列特征的通道-空间权重作用于车外视频序列特征，将车外视频序列特征的通道-空间权重作用于车内视频序列特征；所述跨模态通道-空间加权机制作用于车内、外视频序列特征提取网络的每一个ResNet-Block的输出特征； 所述跨模态通道-空间加权机制表示为： 其中，和分别表示待加权的车内、外视频序列特征；和分别表示加权后的车内、外视频序列特征；和分别表示加权到车内视频序列特征的通道和空间权重；和分别表示加权到车外视频序列特征的通道和空间权重； 步骤S4：对比学习模块通过拉近同样本间不同模态的向量表示距离、拉远不同样本的向量表示距离； 将同一样本的车内、外视频序列向量表示视为一对正样本，而不同样本之间的向量表示视为负样本；首先利用余弦距离作为衡量两个向量表示之间距离的标准；接着通过对比学习惩罚因子来迫使网络自发地在空间上拉近正样本距离同时拉远负样本距离； 步骤S5：预测模块融合车内外视频序列向量表示获得初步预测结果，最后利用GPS信息校正初步预测结果来得到最终预测结果； 预测模块首先利用“拼接”操作合并步骤S4处理后的车内外视频序列向量，并送入基于残差结构的一维深度神经网络提取融合特征，最后利用GRU分类器建模多帧特征的时序依赖，得到初步预测结果；利用GPS信息对初步预测结果进行逻辑校正； 步骤S6：将基于预测模块得到的融合预测结果作为主任务、单模态网络的单模态预测结果作为辅助任务，基于多任务学习框架来预测驾驶员意图； 所述多任务学习方法损失函数表示为： 其中，Εx,y表示交叉熵损失；xF表示预测模块的输出结果；xf和xr分别表示基于车内、外视频序列的单模态预测结果；α表示多任务学习平衡系数；ωd表示作用于初步预测结果的校正权值；ps表示学习惩罚因子。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。