买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院自动化研究所申请的专利基于低精度整数存储的大模型训练显存优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121351902B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511919752.2，技术领域涉及：G06N3/0495；该发明授权基于低精度整数存储的大模型训练显存优化方法及系统是由李志凯;顾庆毅;刘学文;陈梦娟设计研发完成，并于2025-12-18向国家知识产权局提交的专利申请。

本基于低精度整数存储的大模型训练显存优化方法及系统在说明书摘要公布了：本发明属于大模型训练技术领域，公开了基于低精度整数存储的大模型训练显存优化方法及系统，所述方法包括：获取模型训练过程中的状态参数，以整数格式存储为整数值；通过动态比例因子反量化将整数值恢复为浮点进行计算，得到整数存储的训练框架；在整数存储的训练框架下，针对状态参数的不同数值分布特征，进行差异化的量化得到量化后的状态参数；基于量化后的状态参数，按照反向传播顺序，通过全局梯度堆栈结构管理量化后的状态参数的流动，从全局梯度堆栈结构中按顺序弹出状态参数用于更新模型参数，完成优化。本发明以整数格式存储，压缩显存占用。对存储的整数数据进行即时反量化，将其恢复为浮点表示后再参与计算与反向传播，兼顾了存储压缩率与训练稳定性。

本发明授权基于低精度整数存储的大模型训练显存优化方法及系统在权利要求书中公布了：1.基于低精度整数存储的大模型训练显存优化方法，其特征在于，包括： 获取模型训练过程中的状态参数，在显存中以整数格式存储为整数值； 通过动态比例因子反量化将整数值恢复为浮点进行计算，计算完成后再重新量化并以整数形式回写显存，得到整数存储的训练框架； 在整数存储的训练框架下，针对状态参数的不同数值分布特征，进行差异化的量化得到量化后的状态参数； 基于量化后的状态参数，按照反向传播顺序，通过全局梯度堆栈结构管理量化后的状态参数的流动，从全局梯度堆栈结构中按顺序弹出状态参数用于更新模型参数，完成优化； 所述在整数存储的训练框架下，针对状态参数的不同数值分布特征，进行差异化的量化得到量化后的状态参数，包括： 对于梯度和优化器动量，使用均匀量化器进行量化，对于模型权重，使用密集-稀疏量化器进行量化，所述密集-稀疏量化器先将权重分解为稠密部分和稀疏部分，对稠密部分进行均匀量化，对稀疏部分采用压缩稀疏行格式存储； 所述使用均匀量化器进行量化： 量化与反量化，数学定义如下： 其中，为浮点矢量，为量化后的整数矢量，表示取整函数，b∈N为量化位宽；和分别为量化尺度和零点，量化尺度和零点由的下限和上限决定，如下所示： 通过线性映射，梯度与动量的分布被均匀压缩到有限整数区间中；在计算时，根据比例因子实时反量化为浮点数用于前向与反向传播； 所述使用密集-稀疏量化器进行量化： 首先分析权重的分布密度，将权重矩阵W分解为两个互补子矩阵：一个用于主干分布的稠密部分D，另一个用于异常值的稀疏部分S；形式化定义如下： 其中，与为分布阈值； 稠密矩阵D采用标准均匀量化器进行量化，稀疏矩阵S则保留浮点格式，并使用压缩稀疏行保存。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100086 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。