买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉腾讯科技(深圳)有限公司;上海交通大学申请的专利语言模型训练方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113515948B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110031416.X，技术领域涉及：G06N3/096；该发明授权语言模型训练方法、装置、设备及存储介质是由撖朝润;张海松;徐坤;史树明;傅洛伊设计研发完成，并于2021-01-11向国家知识产权局提交的专利申请。

本语言模型训练方法、装置、设备及存储介质在说明书摘要公布了：本申请实施例提供了一种语言模型训练方法、装置、设备及存储介质，涉及机器学习技术领域。所述方法包括：基于全量预训练语料对初始的学生语言模型进行全量预训练，得到全量预训练后的学生语言模型；基于增量预训练语料对全量预训练后的学生语言模型进行增量预训练，得到增量预训练后的学生语言模型；其中，增量预训练语料是在全量预训练语料的基础上新增的预训练语料；采用教师语言模型对增量预训练后的学生语言模型进行知识蒸馏处理，得到蒸馏后的学生语言模型；采用目标任务的第二训练样本集，对蒸馏后的学生语言模型进行参数调整处理，得到完成训练的学生语言模型。采用本申请实施例提供的技术方案，能够节省语言模型训练的时间。

本发明授权语言模型训练方法、装置、设备及存储介质在权利要求书中公布了：1.一种语言模型训练方法，其特征在于，所述方法包括： 基于全量预训练语料对初始的学生语言模型进行全量预训练，得到全量预训练后的学生语言模型； 获取第一预测结果和第二预测结果，所述第一预测结果是指增量预训练中的学生语言模型在增量预训练语料上的预测结果，所述第二预测结果是指所述全量预训练后的学生语言模型在所述增量预训练语料上的预测结果；其中，所述增量预训练语料是在所述全量预训练语料的基础上新增的预训练语料，所述增量预训练中的学生语言模型的初始模型为所述全量预训练后的学生语言模型； 基于所述第一预测结果、所述第二预测结果和所述增量预训练语料的标签信息，确定第一损失；其中，所述第一损失与所述第一预测结果和所述增量预训练语料的标签信息之间的差异程度相关，且与所述第一预测结果和所述第二预测结果之间的差异程度相关； 基于所述第一损失调整所述增量预训练中的学生语言模型的参数，直至满足第一停止条件，得到增量预训练后的学生语言模型； 采用教师语言模型对所述增量预训练后的学生语言模型进行知识蒸馏处理，得到蒸馏后的学生语言模型；其中，所述教师语言模型是采用目标任务的第一训练样本集进行训练得到的语言模型； 采用所述目标任务的第二训练样本集，对所述蒸馏后的学生语言模型进行参数调整处理，得到完成训练的学生语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司;上海交通大学，其通讯地址为：518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。