恭喜华东师范大学王廷获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜华东师范大学申请的专利一种动态场景下灵活高效的分布式机器学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116028175B 。
龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211663723.0,技术领域涉及:G06F9/48;该发明授权一种动态场景下灵活高效的分布式机器学习方法是由王廷;蒋昕设计研发完成,并于2022-12-23向国家知识产权局提交的专利申请。
本一种动态场景下灵活高效的分布式机器学习方法在说明书摘要公布了:本发明公开了一种动态场景下灵活高效的分布式机器学习方法,其特点是该方法采用动态高效的分布式训练框架,实现了动态的训练节点编排,将参与分布式训练的集群节点分为训练节点和监管者节点,在此基础上对分布式训练进行分析,在动态变化的网络集群构建网络通讯模型,使用节点任务自适应调度分配算法,实现计算节点灵活调度。本发明与现有技术相比具有高效灵活的调度分布式训练集群下的计算节点,提高了集群在实际应用场景下的灵活性,使得集群能够自适应的应对动态变化的训练训练节点,能够在大规模集群或网络条件复杂的情况下有效缓解通讯瓶颈问题,提高集群的通讯效率。
本发明授权一种动态场景下灵活高效的分布式机器学习方法在权利要求书中公布了:1.一种动态场景下灵活高效的分布式机器学习方法,其特征在于,该方法包括以下具体步骤: S1、集群节点模型的构建 将参与分布式训练的集群节点按两种不同的角色划分为参与模型计算的训练节点以及进行任务调度的监管者节点,将所有节点之间的联系抽象构建为一种完全图,完成集群模型的构建,所述训练节点负责模型的本地化训练和模型梯度的融合及传递;所述监管者节点负责记录训练节点的状态,并根据节点的相关信息实现任务的调度; S2、集群通讯网络的构建 在动态变化的网络集群下,基于Huffman算法构建启发式的动态网络通讯模型Greed-Comm,完成模型的迭代训; 所述动态网络通讯模型Greed-Comm的构建具体包括以下步骤: S21、初始化操作 训练节点在参与到集群训练之前,需要向监管者汇报自身状态,然后进行包括:训练环境准备和训练数据准备,完成训练节点的初始化操作后,向监管者汇报训练节点准备就绪,等待参与后续的迭代训练; S22、梯度信息的汇聚 监管者收到训练节点的准备就绪信息后,检查就绪池中的训练节点信息,并按照训练节点选取策略从就绪池中选取若干就绪训练节点信息提供给该训练节点进行局部模型梯度聚合;若就绪池中不存在符合要求的节点,监管者则会把该训练节点扔到就绪池中等待监管者进行调度;训练节点依据就绪池中的信息向对应的训练节点拉取梯度数据,并把这些梯度数据进行融合,在完成改组梯度数据的融合后,该训练节点向监管者更新就绪状态,并重复上述步骤直至获得整个集群的梯度信息;在此期间,当就绪训练节点收到其他节点的汇聚请求后,在提供梯度数据的同时也会向监管者更新自身的状态为汇聚状态,等待获取全局梯度信息并进行下次迭代; 当步骤S22完成后,将会有一个处于Greed-Comm树根位置的训练节点拥有本轮迭代得到的全局模型,该训练节点将会按照上述步骤所构建的通讯树将全局模型并行的传递给所有训练节点; S23、训练节点在收到最新的全局梯度信息后,首先会更新本地模型,并且将全局梯度沿着梯度汇聚相反的方向传递给其关联的子训练节点,然后便开始下一轮模型迭代,在集群节点模型上完成动态网络通讯模型Greed-Comm的构建; S3、集群任务分配模型的构建 采用节点任务自适应调度分配算法,通过后采样技术构建集群任务分配模型,对集群中节点算力进行评估,并根据评估结果对训练任务进行预测调度,从而优化整个集群的训练效率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。