买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海大学申请的专利基于多模态交叉注意力网络的情感识别方法、系统及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116434023B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310377299.1，技术领域涉及：G06V10/80；该发明授权基于多模态交叉注意力网络的情感识别方法、系统及设备是由王欣芝;李梦月;骆祥峰设计研发完成，并于2023-04-07向国家知识产权局提交的专利申请。

本基于多模态交叉注意力网络的情感识别方法、系统及设备在说明书摘要公布了：本发明公开了一种基于多模态交叉注意力网络的情感识别方法、系统及设备，涉及多模态情感识别技术领域，该方法包括：对目标图像文本对进行处理，得到其的图像特征、文本特征、图像情感标签向量和文本情感标签向量；将目标图像文本对的图像特征、文本特征、图像情感标签向量和文本情感标签向量输入至训练好的多模态交叉注意力网络模型中，得到目标图像文本对的情感标签；该模型包括视觉注意力模型、文本注意力模型、图像指导文本的注意力模型、文本指导图像的注意力模型、特征融合模型以及分类器。本发明能够达到当多模态数据表达的情感不一致时，矫正情感识别结果，提高情感识别结果准确性的目的。

本发明授权基于多模态交叉注意力网络的情感识别方法、系统及设备在权利要求书中公布了：1.一种基于多模态交叉注意力网络的情感识别方法，其特征在于，包括： 获取目标图像文本对；所述目标图像文本对为待识别的图像文本对；所述目标图像文本对包括目标图像数据以及所述目标图像数据对应的目标文本数据； 对所述目标图像文本对进行处理，得到所述目标图像文本对的图像特征、文本特征、图像情感标签向量和文本情感标签向量；所述图像特征是由图像可解释性显式特征和图像不可解释性隐式特征结合后得到的特征；所述图像可解释性显示特征包括颜色特征、纹理特征和形状特征，所述图像不可解释性隐式特征包括卷积特征；所述文本特征是由文本可解释性显式特征和文本不可解释性隐式特征结合后得到的特征；所述文本可解释性显式特征包括形容词特征、副词特征、动词特征、名词特征和否定词特征；所述文本不可解释性隐式特征包括文本预训练特征；所述图像情感标签向量是通过把图像数据输入到预训练好的ResNet模型中得到的，所述文本情感标签向量是通过把文本数据输入到训练好的Bert模型中得到的； 将所述目标图像文本对的图像特征、文本特征、图像情感标签向量和文本情感标签向量输入至训练好的多模态交叉注意力网络模型中，得到所述目标图像文本对的情感标签； 所述多模态交叉注意力网络模型包括视觉注意力模型、文本注意力模型、图像指导文本的注意力模型、文本指导图像的注意力模型、特征融合模型以及分类器； 所述视觉注意力模型用于根据图像特征和图像情感标签向量确定图像加权特征； 所述文本注意力模型用于根据文本特征和文本情感标签向量确定文本加权特征； 所述图像指导文本的注意力模型用于根据文本特征和图像情感标签向量确定由图像指导的文本加权特征； 所述文本指导图像的注意力模型用于根据图像特征和文本情感标签向量确定由文本指导的图像加权特征； 所述特征融合模型用于将所述视觉注意力模型输出的图像加权特征、所述文本注意力模型输出的文本加权特征、所述图像指导文本的注意力模型输出的由图像指导的文本加权特征以及所述文本指导图像的注意力模型输出的由文本指导的图像加权特征进行融合，得到融合特征； 所述分类器用于根据融合特征分类得到相应的情感标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海大学，其通讯地址为：200444 上海市宝山区上大路99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。