买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利一种面向云际环境的大模型分布式训练方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116341652B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310133976.5，技术领域涉及：G06N3/098；该发明授权一种面向云际环境的大模型分布式训练方法及相关设备是由侯永帅;相洋;莫羡杰;杨卿;王晖;余跃设计研发完成，并于2023-02-08向国家知识产权局提交的专利申请。

本一种面向云际环境的大模型分布式训练方法及相关设备在说明书摘要公布了：本发明针对使用跨地域算力中心算力进行深度模型训练的场景需求，设计了一种面向云际环境的深度模型训练方法，采用按照网络层次拆分模型参数到不同算力中心、跨域算力节点间采用压缩通信、算力中心内和算力中心间采用混合并行等策略，实现利用跨域算力协同完成深度模型训练。本发明可以使大模型训练不再受单算力中心算力资源的限制，能够高效利用跨域算力中心的算力，在低带宽环境下利用跨域算力协同完成大规模模型的训练任务。

本发明授权一种面向云际环境的大模型分布式训练方法及相关设备在权利要求书中公布了：1.一种面向云际环境的大模型分布式训练方法，其特征在于，所述面向云际环境的大模型分布式训练方法包括： 将待训练的任务、数据和模型上传到任务节点，设置所述任务需要的资源，根据所述任务需要的资源向平台申请若干训练节点； 根据所述任务需要的资源和所述若干训练节点中的资源，按照所述模型的层次对所述任务进行拆分得到子任务，将所述子任务对应分配到所述若干训练节点中，并设置所述模型的训练过程； 根据所述训练过程，将所述数据拆分为若干个batch的数据，将每个batch的数据拆分为m个mini-batch，其中，m为所述batch的数据在各训练节点进行流水线并行计算的分段个数，将每一个mini-batch发送到第一个训练节点，将每一个mini-batch对应的数据标签发送到最后一个训练节点； 对每一个mini-batch进行前向计算，得到计算结果，根据所述计算结果和所述数据对应的数据标签进行反向计算得到反向梯度，并将每一个mini-batch对应的反向梯度进行融合，得到目标梯度，根据所述目标梯度更新各个训练节点上的模型参数，直至每个batch的数据训练完成； 将评估数据拆分为若干个batch的数据，将每个batch的数据拆分为m个mini-batch，将每一个mini-batch输入到更新模型参数后的训练节点进行计算，得到最终计算结果，根据每一个mini-batch对应的数据标签对所述最终计算结果进行评估，得到评估结果，直至每个batch的数据评估完成，根据所有的评估结果得到整体评估结果，若所述整体评估结果满足模型训练的结束条件或者迭代轮数，则结束训练任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。