买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京无问芯穹科技有限公司申请的专利大语言模型压缩方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120123803B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510612690.4，技术领域涉及：G06F18/23211；该发明授权大语言模型压缩方法、装置、设备及存储介质是由请求不公布姓名设计研发完成，并于2025-05-13向国家知识产权局提交的专利申请。

本大语言模型压缩方法、装置、设备及存储介质在说明书摘要公布了：本公开涉及人工智能技术领域，尤其涉及一种大语言模型压缩方法、装置、设备及存储介质。所述方法包括：对大语言模型的各个线性层的权重进行聚类，得到多个聚类中心；对于每个所述权重，计算所述权重与目标聚类中心之间的残差，并对所述残差进行分解，得到分解残差，其中所述目标聚类中心为距离所述权重最近的聚类中心；根据所述多个聚类中心和每个所述权重的分解残差，对所述大语言模型进行压缩。本公开实施例通过对各个线性层的权重采用聚类和残差处理，实现对大语言模型权重的高效压缩，同时尽可能保持模型的性能。

本发明授权大语言模型压缩方法、装置、设备及存储介质在权利要求书中公布了：1.一种大语言模型压缩方法，其特征在于，所述方法包括： 对大语言模型的各个线性层的权重进行聚类，得到多个聚类中心，其中，所述大语言模型用于理解和生成人类语言，所述权重用于定义输入特征与输出之间的关系； 对于每个所述权重，计算所述权重与目标聚类中心之间的残差，并对所述残差进行分解，得到分解残差，其中所述目标聚类中心为距离所述权重最近的聚类中心； 根据所述多个聚类中心和每个所述权重的分解残差，存储每个所述权重的分解残差和预设数量的聚类中心作为压缩后的权重组，从而对所述大语言模型进行压缩； 将压缩后的所述大语言模型部署在计算设备上，以使所述计算设备运行所述压缩后的大语言模型进行推理，所述计算设备包括终端或者服务器； 其中，所述对于每个所述权重，计算所述权重与目标聚类中心之间的残差，并对所述残差进行分解，得到分解残差，包括： 对于每个所述权重，计算所述权重的权重向量与所述多个聚类中心中的每个聚类中心的距离，并将距离最近的聚类中心确定为所述目标聚类中心； 计算所述权重的权重向量与所述目标聚类中心的差向量作为所述残差； 将所述残差重新排列为与所述权重的尺寸相同的残差矩阵； 基于预设的矩阵处理方法对所述残差矩阵进行分解，得到所述分解残差。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京无问芯穹科技有限公司，其通讯地址为：100083 北京市海淀区中关村东路8号东升大厦AB座群楼三层SA301、302、303、304、321、322、323、324、325单元；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。