买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利一种支持异构集群下的模型并行训练方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115471394B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211156400.2，技术领域涉及：G06T1/20；该发明授权一种支持异构集群下的模型并行训练方法及相关设备是由颜达森;张艳;王进;秦爽;王晖;曾炜;余跃设计研发完成，并于2022-09-22向国家知识产权局提交的专利申请。

本一种支持异构集群下的模型并行训练方法及相关设备在说明书摘要公布了：本发明公开了一种支持异构集群下的模型并行训练方法及相关设备，所述方法包括：各个集群根据自己的框架编写好代码，然后在各自的框架上训练一部分数据，接着先在集群内部进行模型拼接，把模型并行切分到多张卡的模型参数合并成一个完整的模型，不同集群的拼接后得到的模型是一致的，然后将拼接完的模型参数进行分片传输到参数服务器，参数服务器对模型参数进行融合，接着参数服务器将融合后的模型下发到各个集群，最后各个分集群将收到的模型按照各自的模型并行训练策略进行模型并行切分后训练；本发明实现了用户隐私保护、数据安全、大模型并行训练和大模型传输，能整合不同计算中心资源，满足了异构框架，异构集群共同训练大模型的需求。

本发明授权一种支持异构集群下的模型并行训练方法及相关设备在权利要求书中公布了：1.一种支持异构集群下的模型并行训练方法，其特征在于，所述支持异构集群下的模型并行训练方法包括： 基于参数服务器初始化numpy模型，将初始化后的numpy模型分别发送到GPU集群和NPU集群，GPU集群和NPU集群根据各自所使用的训练框架将初始化后的numpy模型加载到真实训练的模型中，再对真实训练的模型进行模型并行切分后训练； GPU集群和NPU集群分别在各自本地训练自定义预设大小的部分数据； GPU集群和NPU集群根据各自所使用的训练框架和采用的模型并行策略进行模型拼接，将切分到不同设备的模型合并成一个完整的模型，将完整的模型转换为统一的numpy格式，使得GPU集群和NPU集群得到的numpy模型一致； 将numpy模型按照统一的切分方式进行切片后，传输到参数服务器，参数服务进行拼接处理； 参数服务器接收到来自GPU集群和NPU集群的统一格式的numpy模型后，通过参数平均的方式对numpy模型进行融合，得到融合后的numpy模型； 参数服务器将融合后的模型分片分发到各个训练集群，各个训练集群根据所使用的训练框架和模型并行策略对完整的numpy模型进行切分，切分后的模型分配到不同的设备上，并进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。