买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利大模型的内存管理方法及装置、电子设备、可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120353603B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510821422.3，技术领域涉及：G06F9/50；该发明授权大模型的内存管理方法及装置、电子设备、可读存储介质是由白炳潮;张宏;高翔设计研发完成，并于2025-06-19向国家知识产权局提交的专利申请。

本大模型的内存管理方法及装置、电子设备、可读存储介质在说明书摘要公布了：本发明公开一种大模型的内存管理方法及装置、电子设备、可读存储介质，方法包括将数据输入到训练后的文本长度预估模型，估计大模型输出文本长度并对长度进行向上调整成整数，根据内存页大小和kvcache维度计算cache分块数量，并将cache分块数量向上调整成整数；最后为大模型解码分配kvcache内存块。本发明通过提前分配足够的显存或内存，有效避免动态调整带来的延迟；在批量推理场景中，能够合理的规划计算资源，提高吞吐量；在流式输出场景中，在逐词生成的场景下，本发明预估输出长度可以优化用户体验，如进度条显示或提前截断处理。

本发明授权大模型的内存管理方法及装置、电子设备、可读存储介质在权利要求书中公布了：1.一种大模型的内存管理方法，其特征在于，包括如下步骤： 步骤一：构建并训练文本长度预估模型； 所述文本长度预估模型的输入为文本数据和大模型的相关信息，输出为大模型输出文本的长度；所述文本长度预估模型包括依次连接的输入层、嵌入层、三个串联的基于MQA的解码器结构、第三均方根归一化层、线性投影层和输出层；所述基于MQA的解码器结构包括第一均方根归一化层、多查询注意力层、第一拼接层、第二均方根归一化层、前馈神经网络和第二拼接层；所述多查询注意力层共享部分注意力头，即共享Key和Value，用于捕捉上下文关系，从不同的子空间中学习信息；同时对不同的信息赋予不同的权重，并将学习到的信息和对应的权重进行计算，并将计算结果作为特征输出；所述第一拼接层用于将第一均方根归一化层的输入和多查询注意力层的输出进行拼接；所述前馈神经网络用于对第二均方根归一化层归一化后的结果进行非线性的映射操作；所述第二拼接层用于将将前馈神经网络的输出和第一拼接层的输出执行与第一拼接层相同的拼接操作； 步骤二：对步骤一的文本长度预估模型输出的预测文本长度向上调整成整数； 步骤三：根据向上调整后的文本长度、内存页大小和kvcache维度计算cache分块数量； 步骤四：将所述cache分块数量向上调整成整数； 步骤五：根据向上调整后的cache分块数量，为大模型解码分配kvcache内存块。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。