买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利用于模型推理阶段的用户输入信息处理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121387569B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511962373.1，技术领域涉及：G06F9/50；该发明授权用于模型推理阶段的用户输入信息处理方法及系统是由黄伟;朱克峰;王彦伟;李仁刚设计研发完成，并于2025-12-24向国家知识产权局提交的专利申请。

本用于模型推理阶段的用户输入信息处理方法及系统在说明书摘要公布了：本申请公开了一种用于模型推理阶段的用户输入信息处理方法及系统，属于人工智能技术领域，该方法包括：获取用户输入的多个完整提示；定期获取硬件资源信息和当前任务信息；确定完整提示对应的硬件资源分配信息；在预填充阶段根据硬件资源分配信息对完整提示通过预执行并行计算操作；根据硬件资源分配信息交替循环在前馈网络阶段调用算力达到预设算力阈值的第一类计算设备从预设资源池读取中间特征进行解码存储操作，以及在注意力阶段调用访存性能达到预设访存性能条件的第二类计算设备从预设资源池读取数据进行注意力计算存储操作，得到模型推理结果并输出，解决了硬件资源浪费的技术问题，达到了提高资源利用率和推理效率的技术效果。

本发明授权用于模型推理阶段的用户输入信息处理方法及系统在权利要求书中公布了：1.一种用于模型推理阶段的用户输入信息处理方法，其特征在于，所述模型推理阶段包括预填充阶段、注意力阶段和前馈网络阶段，所述方法包括： 获取用户输入的多个完整提示，所述完整提示包括多个词元； 定期获取硬件资源信息和当前任务信息； 根据所述当前任务信息，确定任务队列积压量和任务平均序列长度； 根据所述硬件资源信息，确定硬件资源利用率和内存池访问延迟； 根据所述任务队列积压量、所述任务平均序列长度、所述硬件资源利用率、所述内存池访问延迟、预设任务积压惩罚系数和预设自定义权重，确定所述完整提示对应的资源请求倾斜系数； 根据所述完整提示对应的资源请求倾斜系数和硬件资源信息，确定硬件资源分配信息； 在所述预填充阶段根据所述硬件资源分配信息对所述完整提示通过预执行并行计算操作，得到各词元对应的中间特征和键值缓存并存入预设资源池； 根据所述硬件资源分配信息交替循环在所述前馈网络阶段调用算力达到预设算力阈值的第一类计算设备从所述预设资源池读取所述中间特征进行解码存储操作，以及在所述注意力阶段调用访存性能达到预设访存性能条件的第二类计算设备从所述预设资源池读取数据进行注意力计算存储操作，直至触发预设解码停止条件，得到模型推理结果并输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。