买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥大唐存储科技有限公司申请的专利一种实现大语言模型部署的方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119396420B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411414008.2，技术领域涉及：G06F8/61；该发明授权一种实现大语言模型部署的方法及装置是由袁伟;王京阳;孙超设计研发完成，并于2024-10-10向国家知识产权局提交的专利申请。

本一种实现大语言模型部署的方法及装置在说明书摘要公布了：本申请公开了一种实现大语言模型部署的方法及装置，通过将大语言模型中占用空间大于预设条件的部分模型参数存储在闪存的SLC和TLC区域中，并根据需要动态加载到DRAM中，这样，减少了大语言模型对DRAM容量的需求。本申请实施例特别适用于DRAM容量有限的移动终端设备，实现了大语言模型的高效运行。本申请实施例中，基于大语言模型的稀疏性特征，模型参数被合理的分配存储到闪存的SLC和TLC区域中，充分利用了闪存在SLC模式下的快速读写性能和TLC模式下的大容量优势。

本发明授权一种实现大语言模型部署的方法及装置在权利要求书中公布了：1.一种实现大语言模型部署的方法，其特征在于，包括： 根据闪存阵列中的存储空间分配信息，对大语言模型的占用空间大于预设条件的模型参数进行分段；所述占用空间大于预设条件的模型参数包括：需要大量存储空间的模型权重信息；所述需要大量存储空间的模型权重信息包括：前馈神经网络FNN计算中需要学习的第一权重参数矩阵W1和第二权重参数矩阵W2；所述对大语言模型的占用空间大于预设条件的模型参数进行分段包括：计算一次并发读取操作，从所述闪存的闪存阵列中获取的数据量T；计算连续存储权重参数矩阵的神经元数量K＝TS，其中，S表示每个神经元对应的权重参数所需的存储空间；基于能够同时读取的神经元数量K，将连续K个神经元标记为一个组，每个组的大小为K个神经元；基于闪存阵列的大小，将所述第一权重参数矩阵W1和所述第二权重参数矩阵W2分段存储，每个分段作为一个组，对应连续K个神经元需要的权重参数； 将分段后的模型参数存储到闪存中，包括：将所述分段后的权重参数按照组写入所述闪存的TLC块区域，并在DRAM中分别记录系统应用访问的数据区段编号LCA与分段后的各权重参数组在存储阵列的实际物理地址PPA间的映射关系；按照预先设置的策略，将TLC块区域中的对应权重参数同时存储在所述闪存的SLC块区域。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥大唐存储科技有限公司，其通讯地址为：230088 安徽省合肥市高新区创新产业园二期J2栋C座7层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。