买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门南讯股份有限公司申请的专利一种基于再注意力机制的模型训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120087412B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510562334.6，技术领域涉及：G06N3/045；该发明授权一种基于再注意力机制的模型训练方法及装置是由陈碧勇;方敏;佘智勇设计研发完成，并于2025-04-30向国家知识产权局提交的专利申请。

本一种基于再注意力机制的模型训练方法及装置在说明书摘要公布了：本申请公开了一种基于再注意力机制的模型训练方法及装置。该方案中，将嵌入向量序列输入至预训练语言模型的多头注意力层中提取全局语义特征，并基于全局语义特征生成全局上下文向量；由稀疏门控网络基于稀疏Softmax函数和全局上下文向量，计算多头注意力头各自对应的动态权重，并构建注意力权重向量；由多头注意力层将各注意力头输出的上下文向量与对应的注意力权重向量进行加权融合，并基于固定权重矩阵对融合上下文表示进行线性变换，得到自注意力值；通过预设损失函数依据自注意力值调节预训练语言模型的参数，得到目标预训练语言模型。本申请通过引入稀疏门控机制动态调整多头注意力头的权重，显著提升了模型预测精度。

本发明授权一种基于再注意力机制的模型训练方法及装置在权利要求书中公布了：1.一种基于再注意力机制的模型训练方法，其特征在于，应用于预训练语言模型，所述预训练语言模型中包括多头注意力层和稀疏门控网络，所述方法包括： 将用于训练所述预训练语言模型的多个嵌入向量序列，分别输入至所述多头注意力层中，由所述多头注意力层从所述嵌入向量序列中提取全局语义特征，并基于所述全局语义特征生成全局上下文向量；所述嵌入向量序列由自然语言文本中的各个token对应的隐藏状态向量构成； 由所述稀疏门控网络基于稀疏Softmax函数和各个所述全局上下文向量，计算所述多头注意力层中的多头注意力头各自对应的动态权重，并基于所述动态权重构建注意力权重向量；所述稀疏Softmax函数用于抑制所述多头注意力头中非关键注意力头的权重； 由所述多头注意力层将各注意力头输出的上下文向量，与对应的注意力权重向量进行加权融合，得到融合上下文表示；并基于固定权重矩阵对所述融合上下文表示进行线性变换，得到用于预测所述自然语言文本对应的下一个token的自注意力值； 通过预设损失函数依据各个所述嵌入向量序列对应的自注意力值，调节所述预训练语言模型的参数，得到目标预训练语言模型； 所述由所述多头注意力层从所述嵌入向量序列中提取全局语义特征，并基于所述全局语义特征生成全局上下文向量，包括： 将各个所述嵌入向量序列分别输入至所述多头注意力头中，得到各注意力头输出的上下文向量，并基于各注意力头输出的上下文向量生成所述全局语义特征；所述注意力头用于捕捉所述嵌入向量序列中不同token之间的相似关系； 将所述全局语义特征输入至自适应池化层中，由所述自适应池化层基于低秩投影矩阵对所述全局语义特征进行池化处理，生成与所述嵌入向量序列相对应的全局上下文向量；所述低秩投影矩阵用于将所述全局语义特征由高维特征空间映射到低维特征空间。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门南讯股份有限公司，其通讯地址为：361005 福建省厦门市火炬高新区软件园创新大厦D区1-3F；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。