买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉麒麟软件有限公司申请的专利GPTQ-4Bit对称量化权重的快速反量化方法、设备、存储介质及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121411846B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511985209.2，技术领域涉及：G06F9/445；该发明授权GPTQ-4Bit对称量化权重的快速反量化方法、设备、存储介质及产品是由罗斌;所光;齐璇设计研发完成，并于2025-12-26向国家知识产权局提交的专利申请。

本GPTQ-4Bit对称量化权重的快速反量化方法、设备、存储介质及产品在说明书摘要公布了：本发明涉及GPTQ‑4Bit对称量化权重的快速反量化方法、设备、存储介质及产品，所述方法基于权重分块qW_block以及权重分块qW_block对应的量化缩放因子分块Scale_block，对权重分块qW_block中每个元素w进行快速反量化。本发明充分的利用了GPTQ‑4Bit对称量化的特性，同时利用了AMDGPU的硬件指令和FP16数据类型的特性，来实现GPTQ‑4Bit对称量化权重的快速反量化。该快速反量化方法集成在麒麟优化的推理引擎vLLM中，并用于高效的支撑GPTQ‑4Bit对称量化模型的推理。在典型推理场景下，相比硬件厂商性能提升30%‑300%。

本发明授权GPTQ-4Bit对称量化权重的快速反量化方法、设备、存储介质及产品在权利要求书中公布了：1.GPTQ-4Bit对称量化权重的快速反量化方法，其特征在于，包括如下步骤： 步骤S1：加载GPTQ-4Bit量化模型，读取模型配置文件config.json的量化配置； 步骤S2：判断量化配置是否满足条件：quant_method=gtpq，bits=4，sym=true，如果满足，则执行步骤S3进行快速反量化； 步骤S3：全局内存加载量化后的权重分块qW_block到共享内存； 步骤S4：从全局内存加载当前权重分块qW_block对应的量化缩放因子分块Scale_block到共享内存； 步骤S5：基于权重分块qW_block以及缩放因子分块Scale_block，对权重分块qW_block中每个元素w进行快速反量化，包括： 步骤S51：对元素w进行_builtin_amdgcn_perm：bytes排列运算，针对运算结果进行按位与位运算，得到h[0]、h[1]、h[2]、h[3]，利用FP16类型的计算特性，从h[0]、h[1]、h[2]、h[3]中得到元素w对应的8个量化后的权重qw0，qw2，qw4，qw6，qw1，qw3，qw5，qw7； 步骤S52：对h[0]、h[1]、h[2]、h[3]进行V_PK_ADD_F16：FP16x2PackADD运算或者V_PK_FMA_F16：FP16x2PackFMA运算，得到FP16qw0’，qw1’，qw2’，qw3’，qw4’，qw5’，qw6’，qw7’； 步骤S53：基于步骤S52得到的FP16qw0’，qw1’，qw2’，qw3’，qw4’，qw5’，qw6’，qw7’，结合量化缩放因子分块Scale_block，得到反量化后的权重FP16dw0，dw1，dw2，dw3，dw4，dw5，dw6，dw7。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人麒麟软件有限公司，其通讯地址为：300450 天津市滨海新区滨海高新区塘沽海洋科技园信安创业广场3号楼6-8层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。