买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河北清华发展研究院申请的专利一种大语言模型训练用内存管理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119883642B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510029611.7，技术领域涉及：G06F9/50；该发明授权一种大语言模型训练用内存管理方法及系统是由张龙腾;褚晓文;王鑫;郭锐;何飞;刘刚设计研发完成，并于2025-01-08向国家知识产权局提交的专利申请。

本一种大语言模型训练用内存管理方法及系统在说明书摘要公布了：本发明属于计算机技术领域，其目的在于提供一种大语言模型训练用内存管理方法及系统。其中的方法包括：构建得到与指定大语言模型匹配的参数符号列表；根据参数符号列表得到指定大语言模型在采用预设训练方式进行训练时的总参数量，并根据总参数量和指定大语言模型在进行训练时的训练内存参数，计算得到指定大语言模型在采用预设训练方式进行训练时的内存开销预测值；获取训练设备的剩余内存值，并判断剩余内存值是否大于内存开销预测值，如是，则根据内存开销预测值为训练设备进行内存预分配处理，以便训练设备对指定大语言模型进行训练。本发明可实现大语言模型训练过程中实现内存使用的预估与优化管理。

本发明授权一种大语言模型训练用内存管理方法及系统在权利要求书中公布了：1.一种大语言模型训练用内存管理方法，其特征在于，包括： 对指定大语言模型进行抽象化处理，得到抽象化处理后模型； 根据所述抽象化处理后模型，构建得到与所述指定大语言模型匹配的参数符号列表； 根据所述参数符号列表得到所述指定大语言模型在采用预设训练方式进行训练时的总参数量，并根据所述总参数量和所述指定大语言模型在进行训练时的训练内存参数，计算得到所述指定大语言模型在采用所述预设训练方式进行训练时的内存开销预测值； 获取训练设备的剩余内存值，并判断所述剩余内存值是否大于所述内存开销预测值，如是，则根据所述内存开销预测值为所述训练设备进行内存预分配处理，以便所述训练设备对所述指定大语言模型进行训练； 所述参数符号列表中包括所述抽象化处理后模型的中间层层数L、词向量长度v、隐藏层维度d、批量大小b和序列长度s；所述训练内存参数包括模型权重、梯度、优化器状态信息和激活值； 当所述预设训练方式为单精度训练方式、半精度训练方式或混合精度训练方式时，所述总参数量为： #P＝12Ld2+dv； 所述内存开销预测值为： M＝W+G+O+A； 式中，W、G、O和A根据所述总参数量和所述指定大语言模型在进行训练时的训练内存参数计算得到；其中，W为所述训练内存参数中模型权重的预测值，G为所述训练内存参数中梯度的预测值，O为所述训练内存参数中优化器状态信息的预测值，A为所述训练内存参数中激活值的预测值； 当所述预设训练方式为单精度训练方式、半精度训练方式或混合精度训练方式，且对所述指定大语言模型同步启用LoRA时，所述总参数量为： #P＝12Ld2+dv+18Ldr； 式中，r为对所述指定大语言模型同步启用LoRA后，所述指定大语言模型中可训练线性层的维度； 所述内存开销预测值为： M＝W+G+O+A； 式中，W、G、O和A根据所述总参数量和所述指定大语言模型在进行训练时的训练内存参数计算得到；其中，W为所述训练内存参数中模型权重的预测值，G为所述训练内存参数中梯度的预测值，O为所述训练内存参数中优化器状态信息的预测值，A为所述训练内存参数中激活值的预测值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北清华发展研究院，其通讯地址为：050000 河北省石家庄市高新区太行南大街769号101号科研办公楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。