昆明理工大学郭军军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉昆明理工大学申请的专利一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119578434B 。
龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411708419.2,技术领域涉及:G06F40/58;该发明授权一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法是由郭军军;赵情媛;李辉设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法在说明书摘要公布了:本发明提出一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法,通过利用视觉幻想为引导融合不同模态特征以及不断减小模态间差异,实现场景自适应的翻译功能。本发明通过引入一种非对称交替更新策略,以缩小模态差距并提高多模态数据的表征能力。最后,建立跨模态自适应融合机制来对两种模态进行有效融合。本发明能有效提升模型在复杂多变的图像‑文本环境中的多模态表征学习能力,确保其在推理阶段,即便面临嘈杂数据或纯文本场景,依然能够维持较高的机器翻译性能。本发明在大多数集合上都达到了优于其他现有技术的最优分数,证明了其在多种场景,尤其是噪声环境下,所展现出的杰出稳定性和一致性,有力地提升了机器翻译的性能。
本发明授权一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法在权利要求书中公布了:1.一种基于视觉幻想引导进行场景自适应的多模态神经机器翻译方法,其特征在于,包括以下步骤: Step1、获取双语平行文本数据、原始图像数据以及获取视觉幻想的图像数据; Step2、获取文本、原始图像和视觉幻想图像的特征; Step3、将文本、原始图像和视觉幻想图像的特征送入具有多层Transformer的模块中进行充分表征; Step4、构建以视觉幻想引导的模态融合方法,在视觉空间上进行一致性约束; Step5、构建非对称交替更新方法,用于缩小模态差距; Step6、建立跨模态自适应融合机制来对文本和视觉两种模态进行有效融合; Step7、将目标句子和融合得到的特征送到传统的Transformer解码端进行解码; 所述Step4的具体步骤如下: Step4.1、将Step3得到的具有充分表征的文本、原始图像特征和视觉幻想图像特征分别进行文本-视觉幻想,原始图像-视觉幻想的交互; Step4.2、将文本-视觉幻想,原始图像-视觉幻想的交互结果进行多层迭代交互; Step4.3、将原始图像特征和视觉幻想图像特征进行一致性约束; 所述Step5的具体步骤如下: Step5.1、分别计算文本-原始图像、文本-视觉幻想图像以及原始图像-视觉幻想图像之间得相似度: ; ; ; 其中表示KL散度,、和分别表示最后一层得到的原始图像、视觉幻想图像和文本的特征; Step5.2、计算文本-原始图像、文本-视觉幻觉图像以及原始图像-视觉幻想图像之间的最小相似度: ; Step5.3、计算特征之间的非对称损失值: ; 其中表示KL散度,表示停止梯度,、和分别表示最后一层出来的原始图像、视觉幻想图像和文本的特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人昆明理工大学,其通讯地址为:650039 云南省昆明市一二一大街文昌路68号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励