买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浪潮电子信息产业股份有限公司申请的专利多元算力推理装置、方法、电子设备、程序及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120315897B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510796943.8，技术领域涉及：G06F9/50；该发明授权多元算力推理装置、方法、电子设备、程序及存储介质是由李磊;王月;李柏宏;吴韶华设计研发完成，并于2025-06-16向国家知识产权局提交的专利申请。

本多元算力推理装置、方法、电子设备、程序及存储介质在说明书摘要公布了：本申请公开了一种多元算力推理装置、方法、电子设备、程序及存储介质，应用于模型推理技术领域，包括：控制单元用于读取推理模型的模型参数并载入至第一资源组和第二资源组，接收推理请求并发送至第一资源组；第一加速卡的算力大于第二加速卡的算力，第二加速卡的带宽大于第一加速卡的带宽；第一资源组用于通过自身的各张第一加速卡，执行预填充运算，并将运算结果通过加速器互联交换机发送至第二资源组；第二资源组用于通过自身的各张第二加速卡，执行针对推理请求的解码运算，得到针对推理请求的推理结果，解决了资源的利用率不高的技术问题，达到了实现高效的推理，提高资源利用率的技术效果。

本发明授权多元算力推理装置、方法、电子设备、程序及存储介质在权利要求书中公布了：1.一种多元算力推理装置，其特征在于，包括： 控制单元，用于读取推理模型的模型参数并载入至第一资源组和第二资源组，接收推理请求并将所述推理请求发送至所述第一资源组； 其中，所述第一资源组包括多张第一加速卡，所述第二资源组包括多张第二加速卡，所述第一加速卡的算力大于所述第二加速卡的算力，所述第二加速卡的带宽大于所述第一加速卡的带宽； 所述第一资源组，用于基于所述模型参数，通过自身的各张所述第一加速卡，执行针对所述推理请求的预填充运算，并将运算结果通过加速器互联交换机发送至所述第二资源组； 所述第二资源组，用于基于所述模型参数和所述运算结果，通过自身的各张所述第二加速卡，执行针对所述推理请求的解码运算，得到针对所述推理请求的推理结果； 与各张第一加速卡以及各张所述第二加速卡均通信连接，用于实现数据传递的加速器互联交换机； 所述加速器互联交换机具体用于： 通过向所述第一加速卡和所述第二加速卡提供所述第一加速卡和所述第二加速卡相互之间的显存资源访问，实现数据传递。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮电子信息产业股份有限公司，其通讯地址为：250014 山东省济南市高新区草山岭南路801号9层东侧；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。