买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院深圳先进技术研究院申请的专利基于注意力机制的多模态信息融合识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114332573B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111557072.2，技术领域涉及：G06V10/80；该发明授权基于注意力机制的多模态信息融合识别方法及系统是由刘桢;程俊;任子良;宋呈群;张锲石设计研发完成，并于2021-12-18向国家知识产权局提交的专利申请。

本基于注意力机制的多模态信息融合识别方法及系统在说明书摘要公布了：本发明涉及一种基于注意力机制的多模态信息融合识别方法及系统。该方法及系统首先对人体动作的RGB和depth视频帧序列进行压缩表示，生成整个视频的时空信息表示图；然后分别将RGB和depth的时空表示图输入双流深度卷积网络提取其高层语义特征；之后将这两种模态的特征输入注意力信息融合模块得到两个不同的多模态融合特征表示；最后将这两个多模态特征向量相加或拼接操作整合成一个特征向量，通过全连接层和softmax函数分类，得到待测视频中的所属动作类，能够有效地利用RGB和depth数据的互补信息，产生语义丰富的多模态特征表示，极大地提高人体动作识别的准确率和抗干扰能力。

本发明授权基于注意力机制的多模态信息融合识别方法及系统在权利要求书中公布了：1.一种基于注意力机制的多模态信息融合识别方法，其特征在于，包括以下步骤： 对人体动作的RGB和depth视频帧序列进行压缩表示，生成整个视频的时空信息表示图； 分别将RGB和depth的时空信息表示图输入双流深度卷积网络提取其高层语义特征； 将RGB和depth两种模态的高层语义特征进行注意力信息融合得到两个不同的多模态融合特征表示； 将两个多模态融合特征向量相加或拼接操作整合成一个特征向量，然后通过全连接层和softmax函数分类，得到待测视频中的所属动作类别；其中： 所述将RGB和depth两种模态的高层语义特征进行注意力信息融合得到两个不同的多模态融合特征表示包括： RGB和depth两种模态的高层语义特征输入N层注意力融合模块，在其所属分支和另一分支的融合模块中分别作为不同的输入角色，使得两种模态通过注意力机制交互融合，学习到模态间的互补信息，得到多模态特征Xr和Xd； 输入的是两路的模态的特征，其中该模块所在分支的模态特征作为Q，另一分支的模态特征作为K、V，经过多头注意力机制进行融合，然后通过瓶颈激活模块进一步强化所学习到的多模态特征，增强其表达能力； 其中瓶颈激活模块配置为： 首先将输入的特征进行全局平均池化操作，将特征的HW维度压缩成1来产生全局上下文信息然后通过两层全连接层对特征的另一个维度降维并恢复到原始维度，中间插入ReLu激活函数增加非线性，从而组成瓶颈结构，得到激活值最后将通过sigmoid函数的特征作为激活值与原始输入特征进行逐元素相乘，强化或抑制原始输入特征中的信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院深圳先进技术研究院，其通讯地址为：518055 广东省深圳市南山区深圳大学城学苑大道1068号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。