浙江大学代金成获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉浙江大学申请的专利一种基于近期查询注意力信息的大型语言模型KV Cache优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119396995B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411443829.9，技术领域涉及：G06F16/334；该发明授权一种基于近期查询注意力信息的大型语言模型KV Cache优化方法是由代金成;李纪为设计研发完成，并于2024-10-16向国家知识产权局提交的专利申请。
本一种基于近期查询注意力信息的大型语言模型KV Cache优化方法在说明书摘要公布了：本发明公开了一种基于近期查询注意力信息的大型语言模型KVCache优化方法。本发明对输入到大型语言模型中的子词进行注意力计算；以平均注意力分数作为阈值构建最近r个查询的注意力信息的记录表；对记录的每个查询的注意力信息做或运算，并删除被认定为不重要的键‑值缓存；判断所有生成的子词数量是否已经达到预设的数量。本发明通过记录近期推理步骤中Query的注意力信息，对KVCache中的信息重要程度进行判断，将相对不太重要的KVCache删除而保留重要的缓存部分，最终在能够优化掉70％以上KVCache的情况下还能够保持模型的性能不受到明显的影响。
本发明授权一种基于近期查询注意力信息的大型语言模型KV Cache优化方法在权利要求书中公布了：1.一种基于近期查询注意力信息的大型语言模型KVCache优化方法，其特征在于，包括以下步骤： 1将准备输入到选定的大型语言模型中的文本进行分词，得到拆分后的子词； 2将拆分后的子词输入到大型语言模型中并进行注意力计算，得到大型语言模型推理过程中每个查询的注意力信息；之后以查询中各个键的平均注意力分数作为阈值构建最近r个查询的注意力信息的记录表； 3进入大型语言模型的循环推理阶段推理下一个子词，推理结束后将当前查询的注意力信息加入记录表中，如果表中查询个数超过了预先设定的个数r，则只保留最近的r个查询的注意力信息，如果查询个数不足r则直接进入步骤5； 4对记录的每个查询的注意力信息做或运算，决策查询中的键-值缓存是否重要，并删除被认定为不重要的键-值缓存； 5判断所有生成的子词数量是否已经达到预设的推理数量，若未达到则返回步骤3生成下一个子词；若已经达到则对生成的子词进行解码得到生成的文本。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励