买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利一种具有鲁棒性的多模态情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116522107B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310248746.3，技术领域涉及：G06F18/213；该发明授权一种具有鲁棒性的多模态情感分析方法是由宦若虹;钟国伟;梁荣华设计研发完成，并于2023-03-09向国家知识产权局提交的专利申请。

本一种具有鲁棒性的多模态情感分析方法在说明书摘要公布了：本发明公开了一种具有鲁棒性的多模态情感分析方法，首先获取待预测对象的文本、音频和视频三种模态特征序列中的至少一个，对于缺失的模态特征序列，通过训练好的模态翻译模块生成所缺失的模态，从而得到三种模态特征序列。然后将三种模态特征序列输入到训练好的情感预测模块中，得到待预测对象的情感预测结果。本发明技术方案使用MGT模型来统一过去在模态翻译中的编码解码架构，并使用MUT模型来对多模态信息进行融合，为了进一步得到统一的多模态表征，还引入了全零初始化的特殊序列MMSeq，不仅能够同时克服模态缺失和多模态序列非对齐的问题，并且还能够提高情感分析的准确率。

本发明授权一种具有鲁棒性的多模态情感分析方法在权利要求书中公布了：1.一种具有鲁棒性的多模态情感分析方法，其特征在于，所述具有鲁棒性的多模态情感分析方法，包括： 获取待预测对象的文本、音频和视频三种模态特征序列中的至少一个，对于缺失的模态特征序列，通过训练好的模态翻译模块生成所缺失的模态，从而得到三种模态特征序列； 将三种模态特征序列输入到训练好的情感预测模块中，得到待预测对象的情感预测结果； 其中，所述将三种模态特征序列输入到训练好的情感预测模块中，得到待预测对象的情感预测结果，包括： 将三种模态特征序列分别经过一维卷积操作，将三种模态特征序列映射到同一个特征空间； 将三种模态特征序列分别经过门控循环单元，引入归纳偏置； 引入全零初始化的特殊序列MMSeq，将特殊序列MMSeq与引入归纳偏置的三种模态特征序列分别加入位置编码和模态类型编码； 将加入位置编码和模态类型编码的特殊序列MMSeq和三种模态特征序列在时序维度进行拼接，经过多模态理解变换器处理，得到变换后的多模态拼接特征； 将多模态理解变换器输出中的特殊序列MMSeq部分取出，作为最终的统一多模态表征，将其经过全连接层后得到情感预测结果； 所述多模态理解变换器采用公式表示如下： 其中，MUM表示多模态理解掩膜，LN表示层归一化，FFN表示前馈神经网络，表示多模态理解变换器第一层的输入，XU表示时序维度拼接后的多模态特征，表示多模态理解变换器第m层的输出； 进一步地，MUM由如下公式计算： 其中，表示MUM的输出，X表示MUM的输入， 分别表示网络的权重，dk＝dv＝dh，d表示特征维度，h表示多头注意力机制中头的个数，为注意力矩阵，下标ij表示矩阵MASKU的第i行第j列，当其值为0时，表示i处的字符可以关注到j处的字符，当其值为-∞时，表示i处的字符无法关注到j处的字符。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市下城区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。