买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉沈阳雅译网络技术有限公司申请的专利一种基于预训练的多模态机器翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114742075B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210347414.6，技术领域涉及：G06F40/58；该发明授权一种基于预训练的多模态机器翻译方法是由刘兴宇;张秋林设计研发完成，并于2022-04-01向国家知识产权局提交的专利申请。

本一种基于预训练的多模态机器翻译方法在说明书摘要公布了：本发明提供一种基于预训练的多模态机器翻译方法，步骤为：处理多模态机器翻译数据集Multi30k，包含文本描述和图像两部分输入；构建VisionTransformer模型，处理图片输入，得到图片编码表示；继承Huggingface的预训练参数，构建基于Transformer结构的mBart模型；mBart模型的文本编码模块处理文本输入，得到文本编码表示；设计提示模板，连接图片编码表示和文本编码表示，送入mBart模型的编码器模块；固定mBart模型的预训练参数，将KL散度引入损失函数计算，进行模型的微调。本发明通过继承大规模文本预训练模型的参数，微调图像编码表示模块，有效地将大规模文本预训练知识应用到多模态机器翻译，提升多模态机器翻译的性能，为后续其他多模态任务的研究提供思路。

本发明授权一种基于预训练的多模态机器翻译方法在权利要求书中公布了：1.一种基于预训练的多模态机器翻译方法，其特征包括以下步骤： 1处理多模态机器翻译数据集，包含文本描述和对应图片两部分输入数据； 2构建VisionTransformer模型，处理图片输入数据，得到图片编码表示； 3利用现有的预训练模型参数，用于构建基于Transformer结构的预训练模型，文本输入数据经过预训练模型的编码层，得到文本编码表示； 4设计提示模板，连接图片编码表示和文本编码表示，送入预训练模型的编码器模块； 5固定预训练模型的预训练参数，将KL散度引入损失函数计算，进行模型的微调，将微调后得到的模型输入图片和文本，实现多模态机器翻译； 步骤4中，设计提示模板，连接图片编码表示和文本编码表示，送入mBart模型的编码器模块，具体为： 401设计提示模板，将图片编码表示为X，源语言文本编码表示为Y，目标语言文本编码表示为Z，提示模板表示为“[提示1]”、“[提示2]”、“[提示3]”，连接得到编码器输入编码表示“[提示1]:X[提示2]:Y”； 402使用预训练模型的位置编码模块编码文本部分得到文本位置编码，将图像部分每一维视作相同位置进行编码，得到图片位置编码；将文本位置编码和图片位置编码连接后，与输入编码表示相加，送入预训练模型的编码器模块，进行图像文本的联合表示学习； 403连接提示模板和目标语言文本编码得到解码器输入编码表示“[提示3]:Z”，送入预训练模型的解码器模块，进行目标语的自回归生成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人沈阳雅译网络技术有限公司，其通讯地址为：110004 辽宁省沈阳市和平区三好街78号东软电脑城C座11层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。