买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京天数智芯半导体科技有限公司申请的专利大语言模型的训练方法、推理方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119621941B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510152395.5，技术领域涉及：G06F16/334；该发明授权大语言模型的训练方法、推理方法、装置及设备是由朱帅设计研发完成，并于2025-02-12向国家知识产权局提交的专利申请。

本大语言模型的训练方法、推理方法、装置及设备在说明书摘要公布了：本申请提供一种大语言模型的训练方法、推理方法、装置及设备。涉及计算机技术领域。方法包括：获取训练文本，训练文本中包括未被标注的第一文本片段和被标注为分块文本的第二文本片段；将训练文本输入大语言模型中，通过大语言模型中的分块注意力机制模块对第二文本片段进行处理；通过大语言模型中的标准注意力机制模块对第一文本片段进行处理；基于大语言模型输出的第一文本片段的预测结果计算第一损失；基于大语言模型输出的第二文本片段的预测结果计算第二损失；根据第一损失和第二损失确定总损失；基于总损失对大语言模型的参数进行优化，获得训练好的大语言模型。本申请减少了内存读取次数，并且提高大语言模型推理的效率。

本发明授权大语言模型的训练方法、推理方法、装置及设备在权利要求书中公布了：1.一种大语言模型的训练方法，其特征在于，所述大语言模型包括多层Transformer模块，每层所述Transformer模块包括注意力机制模块和前馈神经网络模块；所述注意力机制模块包括标准注意力机制模块和分块注意力机制模块；所述方法包括： 获取多个训练文本，每一所述训练文本中包括未被标注的第一文本片段和被标注为分块文本的第二文本片段，且所述第一文本片段和所述第二文本片段交替排列构成连续的所述训练文本； 将所述训练文本输入大语言模型中，通过所述大语言模型中的标准注意力机制模块对所述第一文本片段进行处理；所述标准注意力机制模块用于计算所述第一文本片段中每个token与之前输出的token之间的第一注意力值；通过所述大语言模型中的分块注意力机制模块对所述第二文本片段进行处理，在获得所述第二文本片段后，通过所述分块注意力机制模块计算块内的注意力值，以及计算块外的注意力值；所述分块注意力机制模块用于计算所述第二文本片段内各个token与所述第二文本片段内该token之前的token之间的第二注意力值，以及用于计算所述第二文本片段与所述训练文本中所述第二文本片段之前的token之间的第三注意力值；所述标准注意力机制模块是按token计算两两token的注意力，形成标准的下三角注意力矩阵；所述分块注意力机制模块是批量计算当前token块的块内两两token及块内tokens和之前tokens的注意力，形成注意力矩阵不是标准的下三角注意力矩阵； 基于所述大语言模型输出的所述第一文本片段的预测结果计算第一损失；基于所述大语言模型输出的所述第二文本片段的预测结果计算第二损失；根据所述第一损失和所述第二损失确定总损失； 基于所述总损失对所述大语言模型的参数进行优化，获得训练好的大语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京天数智芯半导体科技有限公司，其通讯地址为：100080 北京市海淀区海淀西大街36号8层8002；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。