山东交通学院朱振方获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东交通学院申请的专利提示驱动的面向模态缺失的多模态情感分析方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120524445B 。
龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511020935.0,技术领域涉及:G06F30/27;该发明授权提示驱动的面向模态缺失的多模态情感分析方法及系统是由朱振方;孟静;裴洪丽;卢强;李萌;孙晓雯;任钰郅;赵大伟;柴建勇;韩强;朱一兵设计研发完成,并于2025-07-24向国家知识产权局提交的专利申请。
本提示驱动的面向模态缺失的多模态情感分析方法及系统在说明书摘要公布了:本发明公开提示驱动的面向模态缺失的多模态情感分析方法及系统,涉及情感分析技术领域,将包含缺失模态的多模态数据输入至多模态提示学习模型进行分析,得到情感预测结果;多模态提示学习模型包括缺失模态生成器、动态提示权重模块、模态先验引导融合模块;动态提示权重模块通过从可用模态中提取全局上下文信息,自适应生成提示权重,动态调整提示强度与作用范围,实现对缺失模态特征的精准局部补偿;模态先验引导融合模块对模态缺失类型进行显式建模,主动融入模态间的先验关联知识,精准引导融合网络实现跨模态特征的深层互补与全局优化,显著提升模型在各种模态缺失场景下的鲁棒性和泛化能力。
本发明授权提示驱动的面向模态缺失的多模态情感分析方法及系统在权利要求书中公布了:1.提示驱动的面向模态缺失的多模态情感分析方法,其特征在于,包括: 获取包含缺失模态的多模态数据; 将所述多模态数据输入至多模态提示学习模型进行分析,得到情感预测结果;所述多模态提示学习模型包括缺失模态生成器、动态提示权重模块、模态先验引导融合模块和分类器; 所述缺失模态生成器接收所述多模态数据,结合缺失模态的重构提示得到缺失模态初步特征; 所述动态提示权重模块通过上下文感知和提示权重网络动态生成缺失模态对应的提示权重向量,将所述提示权重向量与缺失提示进行融合,得到缺失模态的动态提示,将该动态提示与缺失模态初步特征进行融合,得到缺失模态补全特征;同时基于可用模态与其对应的存在提示,得到可用模态的增强模态特征; 所述动态提示权重模块接收可用模态的特征,将可用模态的特征投影后通过增强注意力池化模块提取全局上下文特征,基于所述全局上下文特征动态生成缺失模态的提示权重向量;当文本模态缺失时,假设音频和视觉模态的全局上下文特征分别为和,平均融合音频与视觉上下文信息: 其中,表示融合上下文特征; 然后将融合上下文特征输入到提示权重网络中,该网络包含两个线性映射层及非线性激活函数,以动态生成提示权重向量: 其中,表示针对文本模态的提示权重向量,表示sigmoid函数,表示第二线性映射层,表示非线性激活函数,表示第一线性映射层,表示一个维度为的实数向量空间; 所述模态先验引导融合模块接收增强模态特征和缺失模态补全特征,结合缺失类型提示与模态先验融合提示得到整体跨模态融合特征,并输入至分类器得到最终的情感预测结果; 所述模态先验引导融合模块在跨模态交互网络中对增强模态特征和缺失模态补全特征进行拼接和融合,得到初始跨模态融合特征;引入模态先验投影矩阵,基于模态先验投影矩阵与预定义的缺失类型提示集合生成缺失类型提示; 进一步的,当文本模态缺失时,模态先验投影矩阵的计算如下: 其中,表示模态先验投影矩阵,表示音频的存在提示,表示视觉的存在提示,表示文本的缺失提示,表示音频的投影参数,表示视觉的投影参数,表示文本的投影参数; 然后通过预定义的缺失类型提示集合,获得模态融合时所需的具体缺失类型提示: 其中,表示经过投影后的缺失类型提示; 初始跨模态融合特征与对应的缺失类型提示进行融合,得到模态融合特征;首先对各模态的存在提示进行全局池化得到各模态的全局存在提示,将各模态的全局存在提示拼接后通过模态先验融合网络得到融合提示向量: 其中,表示融合提示向量,表示第二层线性变换权重矩阵,表示第一层线性变换权重矩阵,表示文本的全局存在提示,表示音频的全局存在提示,表示视觉的全局存在提示,表示第一层偏置项; 将所述融合提示向量映射到与模态融合特征相同的维度空间,得到模态先验融合提示;将所述模态融合特征拼接后与模态先验融合提示结合得到整体跨模态融合特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东交通学院,其通讯地址为:250000 山东省济南市天桥区交校路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励