中山大学陈武辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中山大学申请的专利基于KV缓存复用的对话系统交互方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119556862B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411780958.7,技术领域涉及:G06F3/06;该发明授权基于KV缓存复用的对话系统交互方法及装置是由陈武辉;周嘉航;郑子彬设计研发完成,并于2024-12-05向国家知识产权局提交的专利申请。
本基于KV缓存复用的对话系统交互方法及装置在说明书摘要公布了:本申请提供的基于KV缓存复用的对话系统交互方法及装置,包括:在接收到目标提示词时,确定参考提示词,接着确定将参考提示词转换为目标提示词所需的最少编辑次数对应的编辑操作集合后,确定参考提示词在每个解码器层的统一注意力图,对于每一解码器层,根据编辑操作集合和参考提示词在该解码器层的统一注意力图确定目标提示词在该解码器层中需要重新计算KV缓存的目标词元。通过编辑操作集合和统一注意力图来确定目标词元,这样可以准确地识别出目标提示词在每一解码器层中需要重新计算KV缓存的目标词元,而对于目标提示词在每一解码器层中的其他词元则可以复用参考提示词的KV缓存,以尽量提高KV缓存的复用率和对话系统的响应速度。
本发明授权基于KV缓存复用的对话系统交互方法及装置在权利要求书中公布了:1.一种基于KV缓存复用的对话系统交互方法,其特征在于,所述方法包括: 当接收到用户输入的目标提示词时,确定参考提示词;所述参考提示词是指在之前对话系统的所有轮次的对话中与目标提示词最相似的提示词; 基于动态规划确定将所述参考提示词转换为所述目标提示词所需的最少编辑次数对应的编辑操作集合,并确定所述参考提示词在每个解码器层的统一注意力图; 对于每一解码器层,根据所述编辑操作集合确定所述参考提示词对应的待删除词元和待插入词元; 将各个待插入词元确定为所述目标提示词在该解码器层对应的目标词元; 针对每个待删除词元,根据所述参考提示词在该解码器层的统一注意力图评估该待删除词元在所述参考提示词中的后续词元的注意力得分,若后续词元中存在注意力得分高于第一预设阈值的词元,则将后续词元中注意力得分高于第一预设阈值的词元确定为所述目标提示词在该解码器层对应的目标词元; 当确定所述目标提示词在每一解码器层中对应的目标词元时,计算所述目标提示词在每一解码器层中对应的目标词元的KV缓存; 复用所述参考提示词对应的KV缓存以得到所述目标提示词在每一解码器层中对应的其他词元的KV缓存,并根据所述目标提示词在各个解码器层中对应的目标词元和其他词元的KV缓存确定所述目标提示词的输出内容,所述其他词元是指除目标词元以外的词元。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中山大学,其通讯地址为:510275 广东省广州市海珠区新港西路135号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励