买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军战略支援部队信息工程大学申请的专利面向序列任务的Transformer监督学习双重一致性正则化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116611473B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310629724.1，技术领域涉及：G06N3/045；该发明授权面向序列任务的Transformer监督学习双重一致性正则化方法及系统是由李真;万玉宪;屈丹;张文林;杨绪魁;牛铜;贺晓年;张昊设计研发完成，并于2023-05-31向国家知识产权局提交的专利申请。

本面向序列任务的Transformer监督学习双重一致性正则化方法及系统在说明书摘要公布了：本发明涉及人工智能应用技术领域，特别涉及一种面向序列任务的Transformer监督学习双重一致性正则化方法及系统，通过对训练输入序列添加扰动，得到用于模型训练的扰动序列数据；基于扰动序列数据确定基础模型训练损失、及基础模型和均值模型之间一致性损失，其中，基础模型为采用Transformer结构建模的序列任务端到端模型，均值模型为基于基础模型并利用指数移动平均值对基础模型反向传播更新参数进行迁移来获取的模型结构；基于基础模型训练损失和基础模型和均值模型之间一致性损失获取基础模型的整体训练损失；基于整体训练损失调整基础模型参数，得到目标序列任务端到端模型。本发明可提升序列生成模型鲁棒性，便于机器翻译、文本摘要等序列任务中应用。

本发明授权面向序列任务的Transformer监督学习双重一致性正则化方法及系统在权利要求书中公布了：1.一种面向序列任务的Transformer监督学习双重一致性正则化方法，应用于机器翻译，其特征在于，包含： 对训练输入序列分别添加不同的扰动，得到分别用于基础模型训练的第一扰动序列数据和用于均值模型训练的第二扰动序列数据，其中，所述输入序列为源语句； 将扰动序列数据分别对应输入到基础模型和均值模型中，基于基础模型编码器和均值模型编码器获取编码器输出特征，并基于模型中的softmax层获取对应编码器输出特征的概率分布；通过将编码器输出特征对应输入至基础模型解码器和均值模型解码器，得到解码器预测输出概率；衡量基础模型和均值模型两者之间的编码器输出特征概率分布距离相似度和解码器预测输出概率距离相似度，依据距离相似度构建基础模型和均值模型的一致性损失，其中，基础模型为采用Transformer结构建模的序列任务端到端模型，均值模型为基于基础模型并利用指数移动平均值对基础模型反向传播更新参数进行迁移来获取的模型结构； 基于基础模型训练损失和基础模型和均值模型之间一致性损失获取基础模型的整体训练损失； 基于整体训练损失调整基础模型参数，得到用于执行序列任务的目标序列任务端到端模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军战略支援部队信息工程大学，其通讯地址为：450000 河南省郑州市高新区科学大道62号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。