买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津大学申请的专利一种用于大语言模型端侧部署的迭代式量化感知训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120579587B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511081704.0，技术领域涉及：G06N3/0495；该发明授权一种用于大语言模型端侧部署的迭代式量化感知训练方法是由熊德意;杜江村设计研发完成，并于2025-08-04向国家知识产权局提交的专利申请。

本一种用于大语言模型端侧部署的迭代式量化感知训练方法在说明书摘要公布了：本发明提供了一种用于大语言模型端侧部署的迭代式量化感知训练方法，可应用于大语言模型技术领域。该方法包括：通过比例调度器按训练阶段动态分配权重量化比例，避免对关键参数的过度压缩，减少端侧设备因低精度计算导致的性能损失；通过布尔型掩码矩阵选择性保留原始参数，降低自注意力层中关键权重的量化误差，维持生成式大语言模型在端侧解码的准确性；通过掩码矩阵生成的稀疏化参数结构，可触发硬件加速器的稀疏计算优化，提升推理吞吐量；此外，本发明提供的多阶段量化参数更新策略，允许针对不同硬件调整量化粒度，避免传统一次性量化导致的跨平台兼容性问题。

本发明授权一种用于大语言模型端侧部署的迭代式量化感知训练方法在权利要求书中公布了：1.一种用于大语言模型端侧部署的迭代式量化感知训练方法，其特征在于，所述方法包括： 从文本训练数据集中随机选取当前训练阶段所用到的文本数据样本，对部署在服务端的目标大语言模型中的全部原始参数进行所述当前训练阶段的初始量化，得到初始量化参数矩阵； 利用比例调度器确定所述当前训练阶段的权重量化比例，并利用权重掩码函数生成所述当前训练阶段的布尔型掩码矩阵； 利用所述权重量化比例和所述布尔型掩码矩阵将所述初始量化参数矩阵中的部分参数替换为所述目标大语言模型的原始参数，得到量化参数矩阵； 将具有所述量化参数矩阵的目标大语言模型对所述当前训练阶段的文本数据样本进行基于自注意力机制的编码和基于交叉注意力机制的解码，得到文本数据处理结果，并利用所述文本数据处理结果得到所述当前训练阶段的损失值； 利用所述量化参数矩阵、所述当前训练阶段的损失值和预设学习率对所述目标大语言模型进行所述当前训练阶段的参数更新； 对每个训练阶段重复所述当前训练阶段的操作，直到满足预设训练条件，得到参数量化后的大语言模型，并将所述参数量化后的目标大语言模型部署到客户端，其中，所述参数量化后的大语言模型用于处理所述客户端的文本数据； 其中，利用比例调度器确定所述当前训练阶段的权重量化比例包括： 基于训练所用到的总阶段数，利用所述比例调度器以线性增加的方式确定所述当前训练阶段的权重量化比例。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学，其通讯地址为：300072 天津市南开区卫津路92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。