买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉创意信息技术股份有限公司申请的专利一种大语言模型高并发量推理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120181245B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510660889.4，技术领域涉及：G06N5/04；该发明授权一种大语言模型高并发量推理方法及系统是由花福军;王波;罗钦;徐孟宇;窦瑞琳设计研发完成，并于2025-05-22向国家知识产权局提交的专利申请。

本一种大语言模型高并发量推理方法及系统在说明书摘要公布了：本发明涉及人工智能技术领域，公开了一种大语言模型高并发量推理方法及系统，利用执行器计算显存块大小分配显存空间；利用调度器转换请求序列放入调度器的等待队列；调度器为每个请求序列分配相应的显存块直至每个请求序列都能够进行下一次推理；调度器按照优先级顺序计算等待队列中请求序列的显存需求，将等待队列中的请求序列转移到运行队列中；根据请求序列的预填充类型数量和解码类型数量，分配用于执行预填充推理或用于执行解码推理的显存块数量；由此，本发明采用连续批处理、动态分配空间机制和任务调度框架，充分利用连续批处理的并行推理能力，提升了大模型推理的并发量和吞吐量，解决传统连续批处理需要预分配空间的局限性。

本发明授权一种大语言模型高并发量推理方法及系统在权利要求书中公布了：1.一种大语言模型高并发量推理方法，其特征在于，包括以下步骤： S1：系统初始化，执行器通过模拟峰值数据计算显存块大小，根据计算结果分配显存空间，同步显存资源信息到调度器； S2：调度器接收推理http请求，经预处理将推理http请求转换为请求序列，将转换获得的请求序列放入调度器的等待队列； S3：当等待队列与运行队列不全为空时，调度器检查当前运行队列显存使用情况，判断每个请求序列能否进行下一次推理，若否，为每个请求序列分配相应的显存块，直至每个请求序列都能够进行下一次推理； S4：调度器检查当前运行队列显存使用情况，按照优先级顺序计算等待队列中请求序列的显存需求，根据显存需求计算结果将等待队列中的请求序列转移到运行队列中；具体包括： 按照优先级顺序计算等待队列中请求序列的显存需求；其中，所述优先级顺序被配置为每个请求序列对应http请求的到达时间顺序； 若显存足够，则将等待队列中的请求放入运行队列，直到显存不足或达到最大批次字符长度、最大批次数量的阈值条件； S5：将步骤S4中从等待队列转移到运行队列中的请求序列定义为预填充类型，将步骤S3中运行队列中的请求序列定义为解码类型，根据请求序列的预填充类型数量和解码类型数量，分配用于执行预填充推理或用于执行解码推理的显存块数量； S6：调用执行器，基于分配到的显存块数量执行预填充推理或解码推理； S7：调度器获取执行器返回结果，更新请求序列的状态和信息，并对预填充类型的请求序列进行类型变更； S8：遍历运行队列中所有请求序列，判断每个请求序列是否符合结束条件，若是，将该请求序列移出运行队列，释放显存，响应http请求。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人创意信息技术股份有限公司，其通讯地址为：610000 四川省成都市青羊区红星路一段86号1栋222号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。