买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)申请的专利基于异构混合并行与通信的联合优化分布式训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120578507B 。

龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510744569.7，技术领域涉及：G06F9/50；该发明授权基于异构混合并行与通信的联合优化分布式训练方法是由王春晓;王雨欣;吴晓明;李传涛;宫勋;王英龙;李锦涛;刘振阳;周智伟;耿文雯设计研发完成，并于2025-06-05向国家知识产权局提交的专利申请。

本基于异构混合并行与通信的联合优化分布式训练方法在说明书摘要公布了：本发明涉及模型训练技术领域，尤其是提供了一种基于异构混合并行与通信的联合优化分布式训练方法。该方法包括通过异构并行优化算法HPO，构建异构并行优化策略；通过动态双异构同步策略DHS，构建动态双异构同步通信机制；根据异构并行优化策略和动态双异构同步通信机制，构建双异构环境下的混合并行与通信的分布式训练框架，以进行联合优化分布式训练，该方法在优化计算资源调度的同时，合理动态的应对了通信延迟问题，提升了分布式训练的效率。

本发明授权基于异构混合并行与通信的联合优化分布式训练方法在权利要求书中公布了：1.一种基于异构混合并行与通信的联合优化分布式训练方法，其特征在于，所述方法包括： 步骤1、通过异构并行优化算法HPO，构建异构并行优化策略； 步骤2、通过动态双异构同步策略DHS，构建动态双异构同步通信机制； 步骤3、根据步骤1和步骤2，构建双异构环境下的混合并行与通信的分布式训练框架，以进行联合优化分布式训练； 所述步骤1包括： 步骤11、初始区域设备划分，在初始设备划分阶段引入设备性能归一化机制； 步骤12、阶段通信成本平衡，初始区域设备划分分组的基础上，考虑不同阶段之间的训练成本； 所述步骤2包括： 在数据同步阶段引入基于异构感知的动态双异构同步通信机制，通过实时感知设备性能和网络状况，动态调整通信组规模；在进入数据同步之前，各数据中心内的设备按照预设的数据并行与流水线并行方式协同完成前向与反向计算；在当前迭代计算完成后，在组通信控制器的统一调控下，设备根据计算进度和通信条件触发同步事件，通信完成后继续进入下一次迭代； 动态双异构同步通信机制由组通信控制器进行全局集中协调，组通信控制器包含两个核心模块：信号接收模块和组生成模块；信号接收模块用于负责实时监控设备和网络状态，持续接收来自各个设备的同步信号，并根据训练迭代次数、数据并行组、网络和设备的信息对当前同步信号进行拆分，并将对应信息放置于信号队列中，供后续组划分决策使用；组生成模块包括信号提取SE单元和组划分GD单元，SE单元根据信号接收模块采集到的异构环境信息，根据设备算力性能和网络性能，自适应调整通信组成员的阈值θ，实现通信组规模的动态调节机制； 联合多区域的计算设备，构建由异构设备组成的分布式训练集群，并在此基础上构建分布式训练框架；分布式训练框架引入流水线并行策略，结合数据并行机制，对模型进行分阶段训练；通过协同优化数据并行与流水线并行策略，在训练过程中动态平衡各阶段数据并行和流水线并行成本；训练过程中分布式训练框架集成动态双异构同步通信机制。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。