买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京百度网讯科技有限公司申请的专利大语言模型训练方法、装置、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118520907B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410599492.4，技术领域涉及：G06N3/045；该发明授权大语言模型训练方法、装置、电子设备和存储介质是由尚骏远;陈奕龙;张振宇;王硕寰;孙宇;吴华设计研发完成，并于2024-05-14向国家知识产权局提交的专利申请。

本大语言模型训练方法、装置、电子设备和存储介质在说明书摘要公布了：本公开提供了一种大语言模型训练方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及深度学习领域、自然语言处理领域以及大模型领域。具体实现方案为：对第一大语言模型中各个网络层中每个通道上的二维参数矩阵分别进行降维参数融合，得到第二大语言模型；基于第二大语言模型中各个网络层的三维参数矩阵，对第二大语言模型中的网络层进行降层参数融合，得到第三大语言模型；在基于第一大语言模型和第三大语言模型所确定的目标损失函数满足第一函数条件的情况下，对第三大语言模型进行训练，得到目标大语言模型。采用本公开，可以减少大语言模型训练过程占用的计算资源和内存资源。

本发明授权大语言模型训练方法、装置、电子设备和存储介质在权利要求书中公布了：1.一种大语言模型训练方法，包括： 将维度融合算子分解为列转换矩阵和行转换矩阵，对第一大语言模型中各个网络层中每个通道上的二维参数矩阵分别先进行列降维融合再进行行降维融合，得到第二大语言模型，其中，所述列降维融合包括：在所述第一大语言模型中第一网络层中第一通道对应的第一列转换矩阵的行数与所述第一大语言模型中对应的二维参数矩阵的列数之间的第一差值满足第一差值条件的情况下，基于所述第一列转换矩阵的行数与预设的列感受野数值之间的比值，对所述第一列转换矩阵进行更新，以使更新后的第一列转换矩阵的行数为更新前的第一列转换矩阵的行数与预设的列感受野数值之间的比值；将更新后的所述第一列转换矩阵，与所述第一大语言模型中对应的二维参数矩阵相乘，以进行列维度的降维参数融合；其中，所述列感受野数值大于1； 基于所述第二大语言模型中各个网络层的三维参数矩阵，对所述第二大语言模型中的网络层进行降层参数融合，得到第三大语言模型； 基于所述第一大语言模型和所述第三大语言模型，确定目标损失函数； 在所述目标损失函数满足预设的第一函数条件的情况下，基于文本数据对所述第三大语言模型进行训练，得到目标大语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京百度网讯科技有限公司，其通讯地址为：100085 北京市海淀区上地十街10号百度大厦2层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。