买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东海量信息技术研究院申请的专利一种模型部署方法、装置、设备、存储介质和产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120745844B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511224090.7，技术领域涉及：G06N5/04；该发明授权一种模型部署方法、装置、设备、存储介质和产品是由唐轶男;郭振华;李仁刚;赵雅倩;王丽;高开;王立;曹芳设计研发完成，并于2025-08-29向国家知识产权局提交的专利申请。

本一种模型部署方法、装置、设备、存储介质和产品在说明书摘要公布了：本申请公开了一种模型部署方法、装置、设备、存储介质和产品，涉及多元异构计算系统技术领域，依据混合专家模型的分布式推理任务信息以及异构计算系统的性能信息，确定出每个专家模型在其对应的异构计算节点上执行推理任务的总耗时。基于负载均衡原则，对所有专家模型的总耗时、通信耗时和计算耗时进行分析，以确定出压缩倍率；按照模型压缩策略对各专家模型进行迭代压缩，以得到满足误差要求以及满足压缩倍率要求的各压缩后的专家模型。将各压缩后的专家模型部署在对应的异构计算节点。通过对专家模型进行压缩，并且基于压缩倍率确定专家模型的压缩程度，从而使不同异构算力在专家运算层的计算耗时尽量均衡，提升了硬件资源的利用率。

本发明授权一种模型部署方法、装置、设备、存储介质和产品在权利要求书中公布了：1.一种模型部署方法，其特征在于，包括： 获取混合专家模型的分布式推理任务信息以及异构计算系统的性能信息；其中，所述异构计算系统包括多个异构计算节点；混合专家模型包括多个专家模型； 依据所述异构计算系统的性能信息以及所述分布式推理任务信息，确定出每个专家模型在其对应的异构计算节点上执行推理任务的总耗时；其中，所述总耗时包括通信耗时和计算耗时； 基于负载均衡原则，对所有所述专家模型的总耗时、通信耗时和计算耗时进行分析，以确定出压缩倍率； 按照模型压缩策略对各所述专家模型进行迭代压缩，以得到满足误差要求以及满足压缩倍率要求的各压缩后的专家模型； 根据专家模型与异构计算节点的对应关系，将各压缩后的专家模型部署在对应的异构计算节点； 基于负载均衡原则，对所有所述专家模型的总耗时、通信耗时和计算耗时进行分析，以确定出压缩倍率，包括： 将所有专家模型的总耗时与通信耗时进行比较，以确定出最优负载均衡耗时； 根据各所述专家模型的总耗时，选取出总耗时最大的目标专家模型； 在所述目标专家模型的总耗时小于或等于所述最优负载均衡耗时的情况下，输出所述目标专家模型； 在所述目标专家模型的总耗时大于所述最优负载均衡耗时的情况下，根据所述最优负载均衡耗时以及所述目标专家模型的计算耗时和总耗时，确定出压缩倍率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东海量信息技术研究院，其通讯地址为：250000 山东省济南市高新技术开发区国家信息通信国际创新园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。