买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119830928B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510035571.7，技术领域涉及：G06F40/58；该发明授权一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法是由郭军军;李云月;谭凯文设计研发完成，并于2025-01-09向国家知识产权局提交的专利申请。

本一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法在说明书摘要公布了：本发明涉及一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法，属于自然语言处理技术领域。本发明包括：对文本和图像进行编码得到文本特征和图像特征；将图像特征进行部分掩码；将图像和掩码图像表征分别和文本表征进行混合，实现跨模态融合；将文本特征送入冻结参数的多层Transformer模块进行表征；进行跨模态聚合增强，增加跨模态特征的互补性；进行局部点对齐蒸馏，将预训练纯文本模型的先验知识蒸馏到多模态模型中；构建正则化语义对齐模块，进一步捕捉更全面的视觉‑文本对齐细节，实现语义一致性约束。本发明解决多模态数据对稀缺，以及从头训练多模态模型导致的计算资源利用低效和跨模态对齐不准的问题。

本发明授权一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法在权利要求书中公布了：1.一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法，其特征在于：所述方法包括： Step1、获取多模态机器翻译数据集，并对文本和图像进行编码得到文本特征和图像特征； Step2、将图像特征进行部分掩码； Step3、将文本、图像和掩码图像特征送入具有多层Transformer的模块中进行表征； Step4、将图像和掩码图像表征分别和文本表征进行混合，初步实现跨模态融合； Step5、将文本特征送入冻结参数的多层Transformer模块中进行充分表征； Step6、进行跨模态聚合增强，增加跨模态特征的互补性，并输入到解码器端参与目标句子的生成； Step7、进行局部点对齐蒸馏，将预训练纯文本模型的先验知识通过特征级别点对点的方式蒸馏到多模态模型中； Step8、构建正则化语义对齐模块，进一步捕捉更全面的视觉-文本对齐细节； Step9、Step7得到的蒸馏损失、Step8得到的语义一致性损失与传统的交叉熵损失联合作为最终的训练目标； Step10、将Step6得到的跨模态聚合后的图文多模态特征送入解码器的跨语言注意力机制，目标句子的生成遵循传统的Transformer解码器框架； 所述Step8包括： Step8.1、将Step4得到的结果分别和Step5的结果进行门控筛选融合； Step8.2、进行空间正则化对齐； 所述Step8.1包括： Step8.1.1、将混合图像特征和充分表征后的文本表征进行如下操作，得到完整语义特征，计算过程如下： ； ； 其中，表示跨模态门控权重，，是可训练参数，表示Sigmoid函数； Step8.1.2、将混合掩码图像特征和充分表征后的文本表征进行如下操作，得到恢复语义特征，计算过程如下： ； ； 其中，表示跨模态门控权重，，是可训练参数，表示Sigmoid函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650039 云南省昆明市一二一大街文昌路68号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。