买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利大语言模型的内存管理方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119576805B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510111389.5，技术领域涉及：G06F12/02；该发明授权大语言模型的内存管理方法及装置是由袁悦;王辰设计研发完成，并于2025-01-23向国家知识产权局提交的专利申请。

本大语言模型的内存管理方法及装置在说明书摘要公布了：本申请实施例提供了一种大语言模型的内存管理方法及装置，其中，该方法包括：获取输入词元，其中，输入词元是大语言模型处理的基本单元；通过大语言模型，对输入词元进行推理处理，得到第一长度的键值缓存，其中，第一长度的键值缓存是输入词元需删除的词元对应的键值缓存；在第一长度小于第二长度的情况下，设置目标内存管理块存储第一长度的键值缓存，其中，第二长度是目标内存管理块允许存储键值缓存的最大长度；在第一长度等于第二长度的情况下，设置目标内存管理块取消存储第一长度的键值缓存。通过本申请，解决了大语言模型的内存管理稳定性较低的问题，进而达到了提高大语言模型的内存管理稳定性的效果。

本发明授权大语言模型的内存管理方法及装置在权利要求书中公布了：1.一种大语言模型的内存管理方法，其特征在于，包括： 获取输入词元，其中，所述输入词元是大语言模型处理的基本单元； 通过所述大语言模型，对所述输入词元进行预填充阶段的推理处理，得到第一长度的键值缓存，其中，所述第一长度的键值缓存是所述输入词元需删除的词元对应的键值缓存； 在所述输入词元的词元数大于推理词元上限的情况下，将所述输入词元进行拆分，并对拆分后的输入词元进行依次推理处理，其中，所述拆分后的输入词元包括至少两段输入词元，所述至少两段输入词元中的各段输入词元的词元数小于或等于所述推理词元上限； 在所述拆分后的输入词元包括n段输入词元的情况下，所述将所述输入词元进行拆分，包括：将所述n段输入词元中第1段的输入词设置为第一词元数，将所述n段输入词元中第i段的输入词元数设置为第二词元数，将所述n段输入词元中第n段的输入词元数设置为第三词元数，其中，i为大于1、小于或等于n的整数，所述第一词元数是所述第二长度对应的数量的整数倍，所述第一词元数大于初始词元数与滚动词元数之和，所述初始词元数与所述滚动词元数用于确定所述需删除的键值缓存，所述初始词元数是所述第二长度对应的数量的整数倍，所述第二词元数、所述初始词元数、所述滚动词元数都是所述第二长度对应的数量的整数倍，所述第二词元数与所述初始词元数、所述滚动词元数之间的总和小于或等于所述推理词元上限； 在所述第一长度小于第二长度的情况下，设置目标内存管理块存储所述第一长度的键值缓存，其中，所述第二长度是所述目标内存管理块允许存储键值缓存的最大长度； 在所述第一长度等于第二长度的情况下，设置所述目标内存管理块取消存储所述第一长度的键值缓存。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。