买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种重要性感知的大模型前缀KV重排方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119396987B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411465558.7，技术领域涉及：G06F16/3332；该发明授权一种重要性感知的大模型前缀KV重排方法和系统是由何水兵;陈伟剑;瞿皓阳;张瑞东设计研发完成，并于2024-10-21向国家知识产权局提交的专利申请。

本一种重要性感知的大模型前缀KV重排方法和系统在说明书摘要公布了：本发明公开了一种重要性感知的大模型前缀KV重排方法和系统，包括：通过重要信息采集模块根据历史查询和前缀的计算结果，判断出基数树中每个节点内的所有token是否为重要的；通过前缀KV重排模块读取包含Imp序列的K或V的数据块到CPU内存中，然后将其中重要的token对应的K或V重新放置在一个数据块中，不重要的token对应的K或V放置在其他的数据块中；元数据更新模块根据重排后的token顺序，更新每个基数树节点中的序列，把重要的token放在前面，不重要的放在后面。本发明缓解了读放大问题，进一步减少磁盘的数据读取量；降低前缀KV复用时的加载时间，从而缩短大模型推理时产生第一个token的时间。

本发明授权一种重要性感知的大模型前缀KV重排方法和系统在权利要求书中公布了：1.一种重要性感知的大模型前缀KV重排方法，其特征在于，包括如下步骤： 根据历史查询和前缀的计算结果，判断出基数树中每个节点内的所有token是否为重要的；其中，重要token对应的K和V也是重要的，不重要token对应的K和V也是不重要的；假设某个包含n个token的节点中的token序列为S=[t0,t1,…,tn-1]S表示用户输入的自然语言句子，t表示句子分词后得到的单个token，t的下标对应每个token的位置索引，n表示该句子经过分词后一共包含n个token；其中，重要的token序列记为Imp=[ti,ti+1,…,tj],0=ijni和j表示重要的token在S中的位置索引，n表示S句子包含的token总数； 读取包含Imp序列的K或V的数据块到CPU内存中，将所述数据块中重要的token对应的K或V重新放置在一个数据块中，不重要的token对应的K或V放置在其他数据块中；将重组后的数据块重新写入本地磁盘中； 根据重排后的token顺序，更新每个基数树节点中的序列S为S’；其中，把重要的token放在前面，不重要的token放在后面；并增加一个映射列表，用于记录从S’恢复得到S的索引列表。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。