买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉宁波数字孪生(东方理工)研究院申请的专利一种大语言模型的流式思考与推理系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121350102B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511902181.1，技术领域涉及：G06F16/2455；该发明授权一种大语言模型的流式思考与推理系统及方法是由沈晓宇;童俊龙设计研发完成，并于2025-12-17向国家知识产权局提交的专利申请。

本一种大语言模型的流式思考与推理系统及方法在说明书摘要公布了：本发明涉及大语言模型技术领域，尤其涉及一种大语言模型的流式思考与推理系统及方法，该系统包括流式思考数据生成单元、流式训练单元和流式并行推理单元；流式思考数据生成单元，用于将连续的推理数据拆分为若干推理思考单元，得到多个思考片段；流式训练单元，采用独立的位置编码机制和流式掩码机制预训练大语言模型，使得大语言模型适应流式思考范式；流式并行推理单元针对多个思考片段，使用训练好的大语言模型进行跨GPU流式并行推理，跨GPU解耦输入令牌缓存池和推理思考令牌缓存池，在推理时实现阅读和思考的跨GPU并发执行。与现有技术相比，本发明具有显著降低延迟，提升用户交互体验等优点。

本发明授权一种大语言模型的流式思考与推理系统及方法在权利要求书中公布了：1.一种大语言模型的流式思考与推理系统，其特征在于，该系统包括流式思考数据生成单元、流式训练单元和流式并行推理单元； 所述流式思考数据生成单元，用于将连续的推理数据拆分为若干推理思考单元，在每个输入单元到达后，立即触发大语言模型生成相应的思考片段，最终得到多个思考片段； 所述流式训练单元，采用独立的位置编码机制和流式掩码机制预训练大语言模型，使得大语言模型适应流式思考范式； 所述流式并行推理单元，针对流式思考数据生成单元输出的多个思考片段，使用训练好的大语言模型进行跨GPU流式并行推理，具体为：分别设置输入令牌缓存池、推理思考令牌缓存池以及答案令牌缓存池，跨GPU解耦输入令牌缓存池和推理思考令牌缓存池，在推理时实现阅读和思考的跨GPU并发执行； 所述跨GPU流式并行推理的过程包括： 初始化输入令牌缓存池，推理思考令牌缓存池，以及答案令牌缓存池； 更新输入令牌缓存池的步骤：在第一GPU设备上，将输入推理单元的令牌与输入缓存池进行注意力计算，并将获得的第一注意力结果更新至输入令牌缓存池； 更新推理思考令牌缓存池的步骤：在第二GPU设备上，如果当前输入推理单元有对应的推理思考内容，则等待新的输入，否则将推理思考令牌缓存池的令牌与更新的输入令牌缓存池进行注意力计算，并将获得的第二注意力结果更新至推理思考令牌缓存池； 并行重复更新输入令牌缓存池的步骤和更新推理思考令牌缓存池的步骤，直到输入内容和推理思考内容不再更新； 合并输入令牌缓存池和推理思考令牌缓存池，得到合并缓存池，并将答案令牌缓存池与合并缓存池进行注意力计算，并将获得的第三注意力结果更新至答案令牌缓存池。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人宁波数字孪生(东方理工)研究院，其通讯地址为：315201 浙江省宁波市镇海区庄市街道同心路568号开元新青年广场3号楼6楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。