买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉蓝耘科技集团股份有限公司申请的专利大语言模型多用户高并发高吞吐推理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120598065B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511102215.9，技术领域涉及：G06N5/04；该发明授权大语言模型多用户高并发高吞吐推理方法及系统是由徐欣;安江华;徐佳设计研发完成，并于2025-08-07向国家知识产权局提交的专利申请。

本大语言模型多用户高并发高吞吐推理方法及系统在说明书摘要公布了：本发明涉及大模型调度技术领域，具体公开了一种大语言模型多用户高并发高吞吐推理方法及系统，所述方法包括对每一采集时段内的所有用户信息进行识别，提取并统计字词，得到字词库；根据所述字词库确定宏观限制边界；以每个用户为索引，统计用户信息对应的字词，得到每个用户的字词变化信息，根据所述字词变化信息在宏观限制边界中确定微观限制边界；对任一用户，根据微观限制边界蒸馏得到子模型，基于所述子模型构建交互信道；本发明为每个用户蒸馏出单独的子模型，用于完成其大部分交互需求，响应速度极快，并且蒸馏出的子模型一般是本地模型，不占用大模型的实时资源，优化了任务处理架构。

本发明授权大语言模型多用户高并发高吞吐推理方法及系统在权利要求书中公布了：1.一种大语言模型多用户高并发高吞吐推理方法，其特征在于，所述方法包括： 根据预设的时间步长在预设的时间范围内设置间断点，根据间断点确定采集时段，获取采集时段内的用户信息； 对每一采集时段内的所有用户信息进行识别，提取并统计字词，得到字词库；所述字词库中含有字词项和频数项，字词库中的字词顺序为预设的唯一次序； 根据所述字词库确定宏观限制边界； 以每个用户为索引，统计用户信息对应的字词，得到每个用户的字词变化信息，根据所述字词变化信息在宏观限制边界中确定微观限制边界； 对任一用户，根据微观限制边界蒸馏得到子模型，基于所述子模型构建交互信道，实时记录交互流程，基于交互流程输出辅助任务，将辅助任务输入大语言模型，将大语言模型的输出反馈至交互信道； 所述对每一采集时段内的所有用户信息进行识别，提取并统计字词，得到字词库的步骤包括： 对任一采集时段，基于预设的权限获取每个用户在该采集时段内的用户信息； 将用户信息输入预设的字词识别模型，得到每个用户在该采集时段的字词表；所述字词表包括字词项及其出现个数项； 合并每个用户的字词表，生成字词库；其中，字词库中每一字词的频数存在放大系数； 所述根据所述字词库确定宏观限制边界的步骤包括： 依次读取每个采集时段的字词库； 查询字词库中每个字词的词向量，根据该字词的频数确定第一扩展半径，得到词向量集； 计算所有词向量集的并集，同步确定并集中每个词向量对应的集合数量； 将并集作为宏观限制边界，根据预设的数量阈值对宏观限制边界进行修正；其中，修正过程为限缩过程； 所述以每个用户为索引，统计用户信息对应的字词，得到每个用户的字词变化信息，根据所述字词变化信息在宏观限制边界中确定微观限制边界的步骤包括： 对任一用户，查询该用户在每个采集时段的字词表； 依次比对相邻采集时段的字词表，标记增加的字词，同步记录每个字词的增加次数；所述增加次数随着比对进程定率下降； 查询字词的词向量，根据增加次数确定第二扩展半径，确定每个字词的词向量集； 计算每个词向量集的并集，得到微观限制边界； 计算微观限制边界与宏观限制边界的交集，作为最终的微观限制边界。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人蓝耘科技集团股份有限公司，其通讯地址为：100085 北京市海淀区安宁庄后街12号院1号楼二层C202房间；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。