西北工业大学张盛兵获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于正交特征的大语言模型量化方法及加速器架构获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121031687B 。
龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511587377.6,技术领域涉及:G06N3/0495;该发明授权一种基于正交特征的大语言模型量化方法及加速器架构是由张盛兵;王思佳;张萌;张伦;郭紫璇;王淼设计研发完成,并于2025-11-03向国家知识产权局提交的专利申请。
本一种基于正交特征的大语言模型量化方法及加速器架构在说明书摘要公布了:本发明属于大语言模型量化技术领域,具体涉及一种基于正交特征的大语言模型量化方法及加速器架构,量化方法将大语言模型的激活张量分割为多个列块,并以列块为粒度为整个激活张量分配FP4量化格式。本发明列块的概念定义为:将激活张量的矩阵分割为多个元素数量相同的段,其中段中各元素连续排列在矩阵的第一维度的同一行中,且排列在第二维度的连续的多个列中;列块包括第二维度的多个列,每个列块中列的数量与段中元素的数量一致。本发明克服了现有大语言模型分组量化技术中存在的缺陷,解决了大语言模型精度与硬件效率之间的矛盾。
本发明授权一种基于正交特征的大语言模型量化方法及加速器架构在权利要求书中公布了:1.一种基于正交特征的大语言模型量化方法,其特征在于,包括:将所述大语言模型的激活张量分割为多个列块,并以所述列块为粒度分配FP4量化格式; 所述列块的分割方法为:将所述激活张量的矩阵分割为多个元素数量相同的段;所述段中各元素连续排列在所述矩阵的第一维度的同一行中,且所述段中各元素排列在所述矩阵的第二维度的连续的多个列中;所述列块包括第二维度的多个列,每个列块中列的数量与所述段中元素的数量一致; 其中以所述列块为粒度分配FP4量化格式的方法包括以下步骤: S101:针对选定的列块执行: 获取当前选取的FP4格式所有可表示的数值集合,使用所述数值集合对列块内的所有原始数据进行量化和反量化得到反量化数据,之后计算所述原始数据与反量化数据之间的均方误差并记录; S102:针对选定的列块,选取各候选FP4格式分别执行所述S101,将产生最小均方误差的候选FP4格式确定为所选定列块的最优格式索引; S103:针对所述激活张量的所有列块执行所述S101‑S102,得到所述激活张量的格式索引数组。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710075 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励