买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利推理方法、系统、计算机设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119378681B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411368534.X，技术领域涉及：G06N5/04；该发明授权推理方法、系统、计算机设备及存储介质是由汪玉;王鸿懿;杨昕昊;曾书霖设计研发完成，并于2024-09-29向国家知识产权局提交的专利申请。

本推理方法、系统、计算机设备及存储介质在说明书摘要公布了：本申请公开一种推理方法、系统、计算机设备及存储介质。所述方法应用于包括中央处理单元CPU、图形处理单元GPU和现场可编程门阵列FPGA的目标系统，包括以下步骤：响应于目标推理服务的请求，CPU将目标推理服务的目标输入传到GPU；GPU基于大语言模型的网络结构和权重参数对目标输入进行预填充阶段的计算，得到包括预填充阶段的中间计算结果和最终计算结果的第一数据，并将其传到CPU；CPU将第一数据传到FPGA；FPGA基于大语言模型的网络结构、权重参数和第一数据进行解码阶段的计算，得到第二数据将其传到CPU；CPU将第二数据作为目标推理服务的输出。本申请能够将目标推理服务分阶段部署到GPU和FPGA，通过协作运行的方式完成目标推理服务，充分利用GPU和FPGA的硬件资源。

本发明授权推理方法、系统、计算机设备及存储介质在权利要求书中公布了：1.一种推理方法，其特征在于，所述方法应用于目标系统，所述目标系统包括中央处理单元CPU、图形处理单元GPU和现场可编程门阵列FPGA，所述CPU和所述GPU之间通过第一接口通信，所述CPU和所述FPGA之间通过第二接口通信，所述方法包括以下步骤： S1：响应于大语言模型的目标推理服务的请求，所述CPU将所述目标推理服务的目标输入通过所述第一接口传到所述GPU； S2：所述GPU基于所述大语言模型的网络结构和权重参数对所述目标输入进行预填充阶段的计算，得到第一数据，所述第一数据包括所述预填充阶段的中间计算结果和所述预填充阶段的最终计算结果，所述GPU通过所述第一接口将所述第一数据传到所述CPU； S3：所述CPU将所述第一数据通过所述第二接口传到所述FPGA； S4：所述FPGA基于所述大语言模型的网络结构、权重参数和所述第一数据进行解码阶段的计算，得到第二数据，所述第二数据为所述解码阶段的最终计算结果，所述FPGA通过所述第二接口将所述第二数据传到所述CPU； S5：所述CPU将所述第二数据作为所述目标推理服务的输出； 所述目标系统包括多个GPU和多个FPGA，所述方法还包括： 所述CPU获得映射关系，所述映射关系包括多个输入输出对，其中，每个输入输出对包括任一样本推理服务的样本输入数据和样本输出数据； 所述CPU基于所述映射关系预测所述目标推理服务的任务负载和推理时间； 所述CPU基于所述任务负载、所述推理时间以及预设调度策略确定将所述预填充阶段的计算任务调度给所述多个GPU中的至少一个GPU，将所述解码阶段的计算任务调度给所述多个FPGA中的至少一个FPGA； 所述CPU基于所述映射关系预测所述目标推理服务的任务负载和推理时间，包括： 所述CPU基于所述目标推理服务的目标输入在所述映射关系中查找与所述目标推理服务对应的目标输入输出对； 所述CPU基于所述目标输入输出对确定所述目标推理服务的输出数据的长度； 所述CPU基于所述输出数据的长度预测所述任务负载和所述推理时间。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。