买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东多语文化传播有限公司申请的专利基于多模态交互的翻译方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119990159B 。

龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510134220.1，技术领域涉及：G06F40/58；该发明授权基于多模态交互的翻译方法和系统是由杨玉猛;郑春光;李金翠;颜妍;于潇;张佳宁;李福升设计研发完成，并于2025-02-07向国家知识产权局提交的专利申请。

本基于多模态交互的翻译方法和系统在说明书摘要公布了：本发明涉及机器翻译技术领域，具体为基于多模态交互的翻译方法和系统，一方面，当存在文本模态时，根据是否存在文本模态的音频模态来分别执行不同的操作；其中，当存在音频模态时，将音频模态翻译为文本向量后与文本模态对应向量进行融合；当不存在音频模态时，将文本模态进行初步翻译后再与文本模态对应向量进行拼接，并进行时序语义分析；另一方面，当不存在文本模态时，将音频模态或和图像模态翻译为文本向量；最后，将上述特征提取得到的音频文本融合特征向量、或文本时序特征向量、或第二音频仿文本向量、或图像仿文本向量、或融合仿文本向量通过机器翻译处理，得到更为准确的翻译结果，实现机器翻译的全面性、灵活性、适应性和准确性。

本发明授权基于多模态交互的翻译方法和系统在权利要求书中公布了：1.一种基于多模态交互的翻译方法，其特征在于，包括如下操作： S1、判断待翻译资料中是否存在文本模态；若存在，执行S2；若不存在，执行S3； S2、判断是否存在音频模态； 若存在，将音频模态进行降噪和归一化处理，得到音频归一化模态；将音频归一化模态翻译为文本向量，得到第一音频仿文本向量；第一音频仿文本向量与文本模态对应向量经融合处理，得到音频文本融合向量，执行S4； 若不存在，将文本模态分割成若干个文本子模态，依次经神经网络翻译和向量转化后，进行拼接，得到初始翻译向量；初始翻译向量和文本模态对应向量经拼接处理，得到文本时序向量；文本时序向量经时序语义分析，得到文本时序特征向量，执行S4； S3、若仅存在音频模态，音频模态经语音特征提取处理，得到语音信号特征；基于语音信号特征获取声学特征，进行解码处理，得到声学隐藏状态序列；将声学隐藏状态序列转换为音素序列，根据语言的发音规则和词汇表，将音素序列转换为文本向量，得到第二音频仿文本向量，执行S4； 若仅存在图像模态，将图像模态进行图像增强处理，得到图像增强模态；图像增强模态经文字特征提取，得到图像仿文本向量，执行S4； 若既存在音频模态，也存在图像模态，分别提取音频模态和图像模态的上下文特征，得到音频特征和图像特征；将音频特征和图像特征中，信息熵最大值对应特征作为被模仿特征，将另一个特征翻译成被模仿特征后，与被模仿特征进行融合，得到音频图像融合特征；将音频图像融合特征翻译为文本向量，得到融合仿文本向量，执行S4； S4、音频文本融合特征向量、或文本时序特征向量、或第二音频仿文本向量、或图像仿文本向量、或融合仿文本向量经机器翻译处理，得到翻译结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东多语文化传播有限公司，其通讯地址为：250000 山东省济南市中国(山东)自由贸易试验区济南片区天辰路2228号中垠汇鑫时代中心3号楼1314；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。