买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海芷锐电子科技有限公司申请的专利键值缓存数据的调度方法、大模型推理方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120276667B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510219153.3，技术领域涉及：G06F3/06；该发明授权键值缓存数据的调度方法、大模型推理方法及装置是由朱帅设计研发完成，并于2025-02-26向国家知识产权局提交的专利申请。

本键值缓存数据的调度方法、大模型推理方法及装置在说明书摘要公布了：本申请提供一种键值缓存数据的调度方法、大模型推理方法及装置，涉及人工智能技术领域。该方法包括：利用预测模型预测大模型推理后续token所需的目标键值缓存数据；后续token是指大模型还未推理的token；判断是否需要对所述目标键值缓存数据进行调度；若需要调度，则生成调度策略；根据调度策略从第一存储空间获取目标键值缓存数据，并将目标键值缓存数据存储至第二存储空间；其中，目标键值缓存数据用于使大模型推理后续token。本申请减少对第一存储空间的频繁访问，并且，每次只传输需要的目标键值缓存数据，而非全量的键值缓存数据，减少了因传输键值缓存数据导致的带宽资源的占用。

本发明授权键值缓存数据的调度方法、大模型推理方法及装置在权利要求书中公布了：1.一种键值缓存数据的调度方法，其特征在于，包括： 利用预测模型预测大模型推理后续token所需的目标键值缓存数据；所述后续token是指所述大模型还未推理的token； 判断是否需要对所述目标键值缓存数据进行调度； 若需要调度，则生成调度策略； 根据所述调度策略从第一存储空间获取所述目标键值缓存数据，并将所述目标键值缓存数据存储至第二存储空间；其中，所述目标键值缓存数据用于使所述大模型推理所述后续token；所述第一存储空间用于存储全量的键值缓存数据；所述大模型在推理过程中，从所述第二存储空间中读取所需的键值缓存数据； 所述生成调度策略，包括： 将所述目标键值缓存数据、所述第二存储空间中已存储的键值缓存数据和环境特征输入调度模型中，获得所述调度模型输出的调度策略；其中，所述环境特征包括高带宽内存HBM容量、HBM占用率、动态随机存取存储器DRAM容量、DRAM占用率、中央处理器CPU直接读写带宽、图形处理器GPU直接读写带宽、CPU占用率和GPU占用率中的至少一项。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海芷锐电子科技有限公司，其通讯地址为：200100 上海市闵行区苏召路1628号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。