科大讯飞华南人工智能研究院(广州)有限公司许光辉获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉科大讯飞华南人工智能研究院(广州)有限公司申请的专利语言模型的训练方法、文本生成方法及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116644819B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310539815.6，技术领域涉及：G06N20/00；该发明授权语言模型的训练方法、文本生成方法及相关装置是由许光辉;杜倩云;沙晶;胡加学设计研发完成，并于2023-05-12向国家知识产权局提交的专利申请。
本语言模型的训练方法、文本生成方法及相关装置在说明书摘要公布了：本申请提出一种语言模型的训练方法、文本生成方法及相关装置，能够将原始语句输入到语言模型中，以使语言模型对原始语句中各词汇的权重进行预测，得到原始语句中各词汇的权重值，各词汇的权重表示原始语句中各词汇所表达的语义的重要程度。然后将训练语句输入到语言模型中，以使语言模型基于训练语句进行文本生成，得到文本生成结果。根据原始语句遮罩部分的权重值和文本生成结果，确定语言模型的损失，根据语言模型的损失调整语言模型的参数。如此设置，使模型能够区分不同词汇，并自适应地调整每个词汇所表达的语义的重要程度，而不是无差别地计算错误字数，使得语言模型能够真正地理解语义，实现提高预测结果的准确性的目的。
本发明授权语言模型的训练方法、文本生成方法及相关装置在权利要求书中公布了：1.一种语言模型的训练方法，其特征在于，包括： 将原始语句输入到语言模型中，以使所述语言模型对所述原始语句中各词汇的权重进行预测，得到所述原始语句中各词汇的权重值；所述各词汇的权重表示所述原始语句中各词汇所表达的语义的重要程度； 将训练语句输入到所述语言模型中，以使所述语言模型基于所述训练语句进行文本生成，得到文本生成结果；其中，所述训练语句是对所述原始语句进行遮罩处理后得到的，所述文本生成结果包括对所述训练语句中的遮罩部分的预测结果； 根据所述文本生成结果和所述原始语句遮罩部分的差异，确定所述语言模型的文本生成损失，根据所述文本生成损失和所述原始语句遮罩部分的权重值，确定所述语言模型的损失，根据所述语言模型的损失调整所述语言模型的参数。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞华南人工智能研究院(广州)有限公司，其通讯地址为：510000 广东省广州市南沙区丰泽东路106号(自编1号楼)X1301-G5145(集群注册)(JM)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励