买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种适配器的多语言多领域神经机器翻译方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116245116B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211557057.2，技术领域涉及：G06F40/58；该发明授权一种适配器的多语言多领域神经机器翻译方法及系统是由朱晓光;鉴萍;费伟伦设计研发完成，并于2022-12-06向国家知识产权局提交的专利申请。

本一种适配器的多语言多领域神经机器翻译方法及系统在说明书摘要公布了：本发明涉及一种基于适配器的多语言多领域神经机器翻译方法及系统，属于自然语言处理技术领域。首先在编码器‑解码器神经机器翻译模型中，在模型内部插入语言适配器和领域适配器，分别用于挖掘语言知识和领域知识，从而解耦语言和领域特征空间，从而实现领域知识的跨语言共享。通过目标领域知识的跨语言共享，对于某个目标语言对，即使没有目标领域的标注语料，模型仍能够在目标领域上有很高的翻译质量。本发明通过领域知识的跨语言迁移，实现了目标领域知识的多语言共享，提升了神经机器翻译模型在目标领域的翻译效果，降低了部署实施难度。

本发明授权一种适配器的多语言多领域神经机器翻译方法及系统在权利要求书中公布了：1.一种基于适配器的多语言多领域神经机器翻译方法，其特征在于，包括以下步骤： 步骤1：进行数据预处理； 首先，根据不同的语种，采用不同的分词工具，分别对源语言语料和目标语言语料进行分词； 然后，利用字节对编码对分词后的训练语料进行编码并得到词表； 最后，进行语料索引化，用词表中的索引去替换语料中的词，将文本处理成索引； 步骤2：利用编码器，将源句子编码成中间表示； 步骤2.1：源语言序列通过嵌入层映射，得到源语言序列嵌入表示； 步骤2.1.1：源语言序列通过词嵌入层，得到词嵌入表示向量； 源语言序列经过索引化后，输入到词嵌入层；该层实现是一个查找表，设词表长度为|V|，模型维度为dim，该查找表实质上是一个|V|×dim的二维矩阵，通过输入当前索引序列，获取该序列的词向量表示；经过上述步骤，源语言序列被编码成n×dim的连续向量表示，其中n为序列长度； 步骤2.1.2：源语言序列通过位置嵌入层，得到位置嵌入表示向量； 首先定义最大序列长度N，然后定义N×dim的二维参数矩阵，通过索引的方式获取对应的位置编码，该参数矩阵与模型中其它参数一块通过梯度下降算法来优化；经过上述步骤，源语言序列的位置信息被编码成n×dim的连续向量表示，其中n为序列长度； 步骤2.1.3：词嵌入表示向量与位置嵌入表示向量相加得到源句子嵌入表示； 词嵌入表示向量与位置嵌入表示向量相加得到n×dim的连续向量表示，传入模型下一层进行进一步的特征提取与计算； 步骤2.2：源语言序列嵌入表示输入到编码器中，计算得到源语言序列的上下文表示C； 步骤2.2.1：多头自注意力层处理源语言序列嵌入表示，计算得到输出Self-Attni； 首先，将源语言序列的每一个词向量通过矩阵映射为查询值Q、键值K和值V： Q＝WQ·e1 K＝WK·e2 V＝WV·e3 其中，WQ、WK、WV分别表示查询值Q、键值K和值V；e表示输入的词向量； 之后，对于每一个词，通过自注意力机制，计算其对于其他所有词的注意力分值s： 其中，dk为K的维度；T表示转置； 然后，用注意力分值作为权重，用对应的注意力分值与V相乘并求和，得到对应的隐藏层状态表示向量 其中，s表示注意力分值； 此处，将每个注意力头产生的表示进行拼接： 其中，h′表示拼接后的隐藏层状态表示向量，表示为第n个头产生的表示； 最后，通过两层由ReLU作激活函数的线性层： h＝FFNh′＝max0,h′W1+b1W2+b27 其中，FFN·表示线性单元，W1、W2表示训练的权重，b1、b2分别表示W1、W2对应的偏置项；由此得到上下文句子的编码序列，h即为模型第i层的隐层表示Self_Attni； 按照上述方式，通过自注意力层对源语言句子进行编码； 步骤2.2.2：Self_Attni输入到前馈网络层，计算得到输出Enc_FFNi； Enc_FFNi＝FFNSelf_Attni8 步骤2.2.3：Enc_FFNi输入到源语言对应的语言适配器和共享语言适配器，两适配器加权求和得到当前输出Enc_LAi： 其中，LAi表示Transformer第i层中语言Lj的适配器与其共享适配器的加权和，λ作为权重系数来控制特定语言适配器所占比重；进一步简化为：Enc_LAi＝LAi； 步骤2.2.4：Enc_LAi输入到源句子对应的领域适配器和共享领域适配器，两适配器加权求和得到当前输出Enc_DAi： 其中，DAi表示Transformer第i层中领域Dk的适配器与其共享适配器的加权和，其中μ为权重系数；进一步简化为：Enc_DAi＝DAi； 步骤2.2.5：Enc_DAi输入到Transformer模型编码器下一子层，重复步骤2.2.1到步骤2.2.4计算过程； 步骤2.2.6：经过Transformer编码器N个子层的计算，得到源语言序列的上下文表示C； 步骤3：通过解码器，将源语言句子的上下文表示C解码成目标语言； 步骤3.1：解码器已生成目标语言序列通过嵌入层映射，得到目标语言序列嵌入表示； 步骤3.1.1：已生成目标语言序列通过词嵌入层，得到词嵌入表示向量； 源语言序列经过索引化后，输入到词嵌入层；该层实现成是一个查找表，设词表长度为|V|，模型维度为dim，该查找表实质上是一个|V|×dim的二维矩阵，通过输入当前索引序列，即可获取该序列的词向量表示；经过上述步骤，源语言序列被编码成n×dim的连续向量表示，其中n为序列长度； 步骤3.1.2：已生成目标语言序列通过位置嵌入层，得到位置嵌入表示向量； 首先定义最大序列长度N，然后定义N×dim的二维参数矩阵，通过索引的方式获取对应的位置编码，该参数矩阵与模型中其它参数一块通过梯度下降算法来优化；经过上述步骤，源语言序列的位置信息被编码成n×dim的连续向量表示，其中n为序列长度； 步骤3.1.3：词嵌入表示向量与位置嵌入表示向量相加得到已生成目标语言序列嵌入表示； 步骤3.2：目标语言序列嵌入表示和上下文表示C输入到解码器中，生成当前时间步的词； 步骤3.2.1：掩码多头自注意力层处理目标语言序列嵌入表示，计算得到输出Mask_Attni； 步骤3.2.2：Mask_Attni输入到编码器-解码器注意力层，计算得到输出EncDec_Attni； 步骤3.2.3：EncDec_Attni输入到前馈网络层，计算得到输出Dec_FFNi； 步骤3.2.4：Dec_FFNi输入到目标语言对应的语言适配器和共享语言适配器，两适配器加权求和得到当前输出Dec_LAi； 步骤3.2.5：Dec_LAi输入到目标语言句子对应的领域适配器和共享领域适配器，两适配器加权求和得到当前输出Dec_DAi； 步骤3.2.6：Dec_DAi输入到Transformer模型解码器下一子层，重复步骤3.2.1到步骤3.2.6计算过程； 步骤3.2.7：经过Transformer解码器N个子层的计算，得到中间表示，输入到生成层得到候选词概率分布，根据概率分布生成当前时间步的词； 步骤3.3：重复步骤3.1和步骤3.2，直至解码器生成终止标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。