买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利大语言模型的训练方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119647586B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411522546.3，技术领域涉及：G06N5/04；该发明授权大语言模型的训练方法、装置、电子设备及存储介质是由李涓子;齐韵嘉;彭皓;王晓智;许斌;侯磊设计研发完成，并于2024-10-29向国家知识产权局提交的专利申请。

本大语言模型的训练方法、装置、电子设备及存储介质在说明书摘要公布了：本发明提供一种大语言模型的训练方法、装置、电子设备及存储介质，涉及人工智能技术领域。其中，大语言模型的训练方法，包括：获取指令响应数据对；其中，指令响应数据对由指令和利用大语言模型根据指令生成的响应组成，响应包括预设领域的文本；从指令响应数据对包含的响应中，提取响应包含的约束信息；根据响应、响应包含的约束信息以及响应对应的指令，生成训练数据集；利用训练数据集，对预训练的大语言模型进行继续训练，得到目标大语言模型，以利用目标大语言模型根据指令，生成响应。本发明可以高效地训练得到可准确执行具有复杂约束的指令的大语言模型，进而有效提升计算资源的利用率。

本发明授权大语言模型的训练方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种大语言模型的训练方法，其特征在于，包括： 获取指令响应数据对；其中，所述指令响应数据对由指令和利用大语言模型根据所述指令生成的响应组成，所述响应包括预设领域的文本； 从所述指令响应数据对包含的响应中，提取所述响应包含的约束信息；其中，所述约束信息用于描述所述响应符合的条件或标准； 根据所述响应、所述响应包含的约束信息以及所述响应对应的指令，生成训练数据集，包括： 将多种约束进行随机组合，得到多组约束集；其中，每一组所述约束集包含至少一种约束； 根据每一组所述约束集和其对应的指令和响应，得到所述训练数据集； 利用所述训练数据集，对预训练的大语言模型进行继续训练，得到目标大语言模型，以利用所述目标大语言模型根据指令，生成响应； 其中，所述训练数据集包括第一训练子集和第二训练子集； 所述根据每一组所述约束集和其对应的指令和响应，得到所述训练数据集，包括： 根据每一组所述约束集对应的响应和指令，得到所述第一训练子集中的一组第一样本数据，并将所述约束集作为所述第一样本数据的标签； 根据所有所述第一样本数据，得到所述第一训练子集； 根据每一组约束集和其对应的指令，得到所述第二训练子集中的一组第二样本数据，并将所述约束集对应的响应作为所述第二样本数据的标签； 根据所有所述第二样本数据，得到所述第二训练子集； 所述利用所述训练数据集，对预训练的大语言模型进行继续训练，包括： 利用所述第一训练子集和第一损失函数，以及所述第二训练子集和第二损失函数，对所述预训练的大语言模型进行联合训练；其中，所述第一损失函数是基于所述第一训练子集中的第一样本数据，由所述大语言模型生成所述第一样本数据的标签的概率来构建的，所述第二损失函数是基于所述第二训练子集中的第二样本数据，由所述大语言模型生成所述第二样本数据的标签的概率来构建的。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。