买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119831032B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411815941.0，技术领域涉及：G06N5/04；该发明授权基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质是由纪荣嵘;晁飞;张玉鑫设计研发完成，并于2024-12-11向国家知识产权局提交的专利申请。

本基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质在说明书摘要公布了：本发明公开一种基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质，通过合并缓存的方式实现最小化压缩过程中的信息丢失，有效解决KV缓存压缩过程中面临的问题。该方法包括：1、对于给定的大型语言模型，基于TokenMerge技术计算其缓存值，并根据计算得到的缓存值进行剪枝和合并操作；2、对于原有的大型语言模型的KV缓存矩阵，针对需要被舍弃的Token，通过伯努利分布生成二进制掩码；3、对于被保留的大型语言模型的KV缓存矩阵，首先通过注意力权重计算其被合并的概率值，然后利用步骤2的二进制掩码将被舍弃的Token平均地合并到被保留的Token中；4、在大型语言模型的前向传播过程中，不断对生成的KV缓存矩阵执行步骤1至步骤3的处理过程。

本发明授权基于缓存融合的大型语言模型推理加速方法、电子设备和存储介质在权利要求书中公布了：1.一种基于缓存融合的大型语言模型推理加速方法，其特征在于包括： 步骤1、对于给定的大型语言模型，基于TokenMerge技术计算其缓存值，并根据计算得到的缓存值进行剪枝和合并操作； 步骤2、对于原有的大型语言模型的KV缓存矩阵，针对需要被舍弃的Token，通过伯努利分布生成二进制掩码； 步骤3、对于被保留的大型语言模型的KV缓存矩阵，首先通过注意力权重计算其被合并的概率值，然后利用步骤2的二进制掩码将被舍弃的Token平均地合并到被保留的Token中； 步骤4、在大型语言模型的前向传播过程中，不断对生成的KV缓存矩阵执行步骤1至步骤3的处理过程； 所述步骤2中，所生成的二进制掩码为： ； 其中，表示伯努利函数；表示截断操作；表示取至的平均值操作；和对应于其关联的KV缓存矩阵中分别为被舍弃的Token和被保留的第个Token，表示被保留的Token数量；和分别表示被舍弃的Token与被保留的第个Token在前一次迭代步骤的累积注意力分数； 所述累积注意力分数的计算公式分别是： ，； 其中，表示时刻；和分别表示被舍弃和被保留的Token的注意力分数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。