买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国家电网有限公司信息通信分公司;国网山东省电力公司;杭州电子科技大学;国家电网有限公司申请的专利一种面向大模型训练的算力网络通信效率优化方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118890284B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410891715.4，技术领域涉及：H04L41/14；该发明授权一种面向大模型训练的算力网络通信效率优化方法及装置是由吴杏平;闫龙川;冯志鹏;牛佳宁;郭永和;陈杭军;刘俊明;张攀;宋新宇;张宁;宋桂林;刘雯静;蔡心怡设计研发完成，并于2024-07-04向国家知识产权局提交的专利申请。

本一种面向大模型训练的算力网络通信效率优化方法及装置在说明书摘要公布了：本发明涉及算力网络通信技术领域，具体提供了一种面向大模型训练的算力网络通信效率优化方法及装置，包括：基于数据中心之间的双向传输时延，计算出从给定的数据中心出发，遍历完剩余所有数据中心的最短路径；基于最短路径上各数据中心的计算资源量及待训练大模型中各网络层的计算量为各数据中心分配需训练的网络层；采用流水线分片方式控制各数据中心对其划分到的网络层进行并行训练，并在每个批量的样本训练结束后进行负载均衡，直至待训练大模型训练结束。本发明提供的技术方案，有效优化了算力网络在进行大模型训练时的通信效率，提高计算通信比，从而提高算力网络的资源利用率并加速模型的训练过程。

本发明授权一种面向大模型训练的算力网络通信效率优化方法及装置在权利要求书中公布了：1.一种面向大模型训练的算力网络通信效率优化方法，其特征在于，所述方法包括： 基于数据中心之间的双向传输时延，计算出从给定的数据中心出发，遍历完剩余所有数据中心的最短路径； 基于最短路径上各数据中心的计算资源量及待训练大模型中各网络层的计算量为各数据中心分配需训练的网络层； 采用流水线分片方式控制各数据中心对其划分到的网络层进行并行训练，并在每个批量的样本训练结束后进行负载均衡，直至待训练大模型训练结束； 所述基于数据中心之间的双向传输时延，计算出从给定的数据中心出发，遍历完剩余所有数据中心的最短路径，包括： 构建传输时延邻接矩阵； 以给定数据中心作为路径起点，使用回溯法遍历以不同顺序的数据中心构建成的路径，记录相应的路径及总传输时延； 比较所有路径的总传输时延，以总传输时延最小的路径作为最短路径； 所述基于最短路径上各数据中心的计算资源量及待训练大模型中各网络层的计算量为各数据中心分配需训练的网络层，包括： 基于最短路径上各数据中心的计算资源量及待训练大模型中各网络层的计算量构建约束条件； 以满足所述约束条件为目标，为各数据中心分配需训练的网络层； 所述约束条件如下： 上式中，layersj为第j个数据中心分配到的网络层数，Calk为网络层k的计算量，DCRi为第i个数据中心的计算资源量，Caly为网络层y的计算量，DCRx为第x个数据中心的计算资源量，n为数据中心总数，m为待训练大模型中网络层总数，i为当前待分配数据中心的编号； 所述采用流水线分片方式控制各数据中心对其划分到的网络层进行并行训练，并在每个批量的样本训练结束后进行负载均衡，包括： 在每个批量的样本训练开始时，控制最短路径中位于起始位置的数据中心将该批量样本划分成若干微批量样本； 在大模型训练进行损失计算的前向传播阶段，控制数据中心完成一个微批量样本的计算后，将计算结果发送给路径上相邻的下一个数据中心，以使下一个数据中心进行微批量样本的计算； 在前向传播结束后，控制各数据中心记录除第一个微批量数据之外其他微批量数据前向到达的累积等待时间； 在大模型训练进行梯度更新的反向传播阶段，控制数据中心在完成一个微批量样本的计算后，将计算结果发送给路径上相邻的上一个数据中心，以使上一个数据中心进行微批量样本的计算； 反向传播结束后，控制数据中心记录除第一个微批量数据之外其他微批量数据反向到达的累积等待时间； 在完成本轮训练样本的训练后，根据各数据中心在前向传播和反向传播过程中记录的累积等待时间为各数据中心重新划分任务以实现负载均衡。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国家电网有限公司信息通信分公司;国网山东省电力公司;杭州电子科技大学;国家电网有限公司，其通讯地址为：100053 北京市西城区白广路二条一号综合楼2307房间；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。