买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津大学合肥创新发展研究院申请的专利一种面向多模态模型的分布式协同推理方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150985B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411138514.3，技术领域涉及：G06N5/04；该发明授权一种面向多模态模型的分布式协同推理方法和系统是由刘秀龙;李克秋;蔡其轩设计研发完成，并于2024-08-19向国家知识产权局提交的专利申请。

本一种面向多模态模型的分布式协同推理方法和系统在说明书摘要公布了：本发明一种面向多模态模型的分布式协同推理方法，整体执行步骤分为离线准备和在线推理两个阶段，离线准备阶段部分包括根据多模态模型内的数据依赖关系识别出可划分的部分，同时将训练得到的权重进行对应的切分，将多模态模型的特征提取部分部署到各个端侧设备上，并将完整模型部署到接收所有数据的中心设备上，在推理系统中的各设备上运行多模态模型，形成离线分割配置；在线推理阶段部分包括完成推理总时延建模，分割方案分发与模型推理，然后中心设备将模型最优分割方案分发给各设备，由各设备调整模型实际的运行部分，各设备基于新的模型结构，执行分布式的推理计算，最终中心设备将各设备传输的中间特征合并，完成分布式多模态推理任务。本发明能可解释地输出当前带宽情况下的最优模型分布式部署方案，有效降低推理时延。

本发明授权一种面向多模态模型的分布式协同推理方法和系统在权利要求书中公布了：1.一种面向多模态模型的分布式协同推理方法，其特征在于：整体执行步骤分为离线准备和在线推理两个阶段，离线准备阶段部分包括： 步骤1-1，完成对多模态模型整体的训练； 步骤1-2，根据多模态模型内的数据依赖关系识别出可划分的部分，同时将训练得到的权重进行对应的切分； 步骤1-3，将多模态模型的可分割部分部署到将划分的模型块结构文件及权重文件按数据依赖关系部署到对应设备中，即将多模态模型的特征提取部分部署到各个端侧设备上，并将完整模型部署到接收所有数据的中心设备上； 步骤1-4，在推理系统中的各设备上运行多模态模型，记录每个多模态模型块的计算需求，即每个组件的运行时间以及输出数据的大小，其中输出数据的大小即以当前层所在位置分割模型后传输数据的大小，通过整理各设备上各组件的运行时间和传输数据大小，形成离线分割配置； 在线推理阶段部分包括： 步骤2-1，预热模型，各设备测试通信连接情况； 步骤2-2，准备建模所需数据，首先，中心设备读取离线准备阶段预先设置好的离线分割配置参数，同时，中心设备读取每个端侧设备的数据传输速率，结合分割配置中的传输数据大小，计算每个端侧设备的不同分割点在当前带宽情况下的传输时间，将传输时间与当前分割点之前各层的执行时间加和，得到每个端侧设备应用分割策略时的本地执行时间； 步骤2-3，对有个模态分支的多模态模型，求解每个分支的计算给总推理时延增加的时间； 步骤2-4，完成推理总时延建模； 步骤2-5，分割方案分发与模型推理，中心设备监控及预测与不同端侧设备通信时的数据传输速率，结合离线准备阶段获得的模型分割配置，求解推理总时延模型最优化问题，得到最优分割方案； 然后中心设备将模型最优分割方案分发给各设备，由各设备调整模型实际的运行部分，每个设备重新构建本地需要的模型结构，然后各设备基于新的模型结构，执行分布式的推理计算，最终中心设备将各设备传输的中间特征合并，并完成剩余的模型计算，输出完整的推理结果，完成分布式多模态推理任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学合肥创新发展研究院，其通讯地址为：230000 安徽省合肥市经济技术开发区清潭路和紫蓬路交口中德合作创新示范园10号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。