买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天翼云科技有限公司申请的专利大语言模型的推理服务部署方法、装置、设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120218257B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510697696.6，技术领域涉及：G06N5/04；该发明授权大语言模型的推理服务部署方法、装置、设备和存储介质是由李昭晨设计研发完成，并于2025-05-28向国家知识产权局提交的专利申请。

本大语言模型的推理服务部署方法、装置、设备和存储介质在说明书摘要公布了：本申请涉及一种大语言模型的推理服务部署方法、装置、设备和存储介质，涉及人工智能技术领域。所述方法包括：获取大语言模型的参数数量、多个待分配设备各自的显存容量、计算核心数量以及网络信息，并确定多种待分配设备的设备组合，每种设备组合由用于预填充阶段的第一设备和用于解码阶段的第二设备组成；针对每种设备组合，基于参数数量、多个待分配设备各自的显存容量以及单个输入文本单元对应的占位空间，确定文本单元处理能力；基于文本单元处理能力、多个待分配设备各自的计算核心数量，及网络信息，确定当前设备组合下的推理延迟；在多个设备组合中确定推理延迟符合预设延迟条件的目标设备组合。采用本方法能够提高大语言模型推理效率。

本发明授权大语言模型的推理服务部署方法、装置、设备和存储介质在权利要求书中公布了：1.一种大语言模型的推理服务部署方法，其特征在于，所述方法包括： 获取大语言模型的参数数量、多个待分配设备各自的显存容量、计算核心数量以及网络信息，并确定多种待分配设备的设备组合，每种设备组合由用于预填充阶段的第一设备和用于解码阶段的第二设备组成； 针对每种设备组合，基于所述参数数量、当前设备组合下第一设备的显存容量、当前设备组合下第二设备的显存容量以及单个输入文本单元对应的中间隐藏层结果的占位空间，确定所述当前设备组合下的文本单元处理能力；所述文本单元处理能力用于表征当前设备组合能够处理输入文本单元的最大数量； 基于所述当前设备组合下的文本单元处理能力、所述当前设备组合下第一设备的计算核心数量、所述当前设备组合下第二设备的计算核心数量，以及多个待分配设备各自的网络信息，确定所述当前设备组合下的推理延迟；所述推理延迟指示了当前设备组合下处理单个输入文本单元的推理延迟； 在多个设备组合中确定推理延迟符合预设延迟条件的目标设备组合，所述目标设备组合下的第一设备用于所述大语言模型进行推理的预填充阶段，所述目标设备组合下的第二设备用于所述大语言模型进行推理的解码阶段； 所述基于所述当前设备组合下的文本单元处理能力、所述当前设备组合下第一设备的计算核心数量、所述当前设备组合下第二设备的计算核心数量，以及多个待分配设备各自的网络信息，确定所述当前设备组合下的推理延迟，包括： 基于所述当前设备组合下的文本单元处理能力和所述当前设备组合下第一设备的计算核心数量，确定所述当前设备组合下的预填充延迟； 基于所述当前设备组合下的文本单元处理能力、键值缓存所占容量、所述当前设备组合下第一设备的计算核心数量以及多个待分配设备各自的网络信息，确定所述当前设备组合下的键值缓存延迟； 基于所述当前设备组合下第二设备的计算核心数量、数据负载、显存带宽以及单个输入文本单元对应的解码计算时长，确定所述当前设备组合下的解码延迟； 将所述预填充延迟、所述键值缓存延迟、所述解码延迟之间的和，与所述文本单元处理能力求商，得到所述当前设备组合下的推理延迟。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天翼云科技有限公司，其通讯地址为：100007 北京市东城区青龙胡同甲1号、3号2幢2层205-32室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。