买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州大学申请的专利一种加速分布式机器学习的自适应同步机制获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115169545B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210649151.4，技术领域涉及：G06N3/063；该发明授权一种加速分布式机器学习的自适应同步机制是由刘外喜;谭淼泉;罗钧明;蔡君;陈庆春设计研发完成，并于2022-06-10向国家知识产权局提交的专利申请。

本一种加速分布式机器学习的自适应同步机制在说明书摘要公布了：本发明涉及分布式机器学习技术领域，且公开了一种加速分布式机器学习的自适应同步机制，该机制在改善梯度过时的目标下，对不同训练速度的工作节点自适应地采用不同的并行训练方案，改进了现有的BSP和ASP方案。基于最快工作节点和最慢工作节点间的过时值，本机制自适应地为更快的工作节点添加松弛的同步屏障，以限制或减小该过时值，从而改善梯度过时，为减少此同步中慢梯度的影响，使用了一种差异化加权的梯度聚合方法用于聚合梯度，在限制快工作节点的同时，机制对慢工作节点采用异步并行训练方案，以加快慢工作节点的训练速度，通过以上策略，本机制改善了ASP中的梯度过时问题，克服了BSP的“掉队者”问题，能够提高分布式机器学习训练的速度。

本发明授权一种加速分布式机器学习的自适应同步机制在权利要求书中公布了：1.一种加速分布式机器学习的自适应同步方法，其特征在于，包括以下步骤： S1、在训练初始阶段各个工作节点采用ASP方案进行训练； S2、服务器在每一个epoch中检测最快工作节点和最慢工作节点间的过时值s，当s大于1个epoch时，服务器对排名前s名工作节点采用松弛的BSP方案，与BSP不同，松弛的BSP方案允许服务器松弛同步条件，即允许服务器等待一定迭代次数后，直接对已收到的梯度做聚合，而不需要等待收到所有梯度才进行聚合，且在该松弛的BSP方案中采用差异化加权的梯度聚合方法来聚合梯度，而对于剩余的工作节点，因为它们的排名靠后，训练速度较慢，服务器对它们采用ASP方案； S3、在训练的每一轮中检测s，根据s以及工作节点训练速度的变化，针对各个工作节点自适应地采用不同的并行训练方案； 实现自适应同步方法的具体步骤如下： S11、工作节点的实现步骤： 1各个工作节点独立加载一部分数据集，并计算损失Cost、准确度Accuracy以及梯度Gradient； 2工作节点通过TCP通信协议推送梯度到参数服务器中； 3等待接收来自参数服务器返回的最新的模型参数； 4将最新的模型参数替换本地的模型参数，从而进行下一次迭代训练，即循环执行； S21、参数服务器的实现分为两个阶段：初始阶段和自适应同步阶段，参数服务器的运行由初始阶段起始，其后逐步过渡到自适应同步阶段，且根据梯度过时的严重程度，初始阶段和自适应同步阶段会自适应地相互切换： 初始阶段： 10等待接收来自工作节点的梯度，同时记录其迭代次数和训练轮数，训练轮数是指epoch，一次数据集的完整遍历记为一个epoch； 20依据迭代次数，参数服务器检测是否所有工作节点都已经完成了一个完整的epoch，如果否，执行以下1和2步骤后，然后返回初始阶段步骤10； 1参数服务器直接使用收到的梯度更新全局的模型参数，更新的方法使用随机梯度下降SGDStochasticGradientDescent，随机梯度下降如公式1所示： Wt+1＝Wt-decay_α*gi1 其中，Wt+1表示保存在参数服务器中第t+1次迭代的全局模型参数，decay_α表示衰减的学习率，gi表示来自第i个工作节点的梯度； 2将最新的全局模型参数Wt+1单播给对应的第i个工作节点； 继步骤20，如果是，即所有工作节点都已经完成了一个完整epoch，参数服务器依据记录的训练epoch对所有工作节点进行排名，并计算最快工作节点和最慢工作节点的epoch差值s，其中： 3如果s＝1，参数服务器直接执行1和2步骤，然后返回初始阶段步骤10；如果s1，服务器将排名前s名的工作节点放入同步组，而将剩余的工作节点放入异步组，接着执行20中的1和2步骤后，参数服务器进入自适应同步阶段： 自适应同步阶段： 30等待接收来自工作节点的梯度，在继承初始阶段的同时，继续记录工作节点的迭代次数和训练轮数epoch； 40如果此时聚合列表中已存在至少一份梯度，参数服务器启动松弛计数器，每收到一份梯度则松弛计数器计数加1； 50判断接收到的梯度是否来自于同步组中的工作节点； 60如果该份梯度来自于同步组中的工作节点，则执行以下操作： 1参数服务器不会立刻更新全局模型参数，而是将这份梯度添加到一个聚合列表； 2如果聚合列表中梯度份数不等于同步组中所有工作节点个数或者松弛计数器计数小于或等于预设的松弛因子，返回到自适应同步阶段的步骤30； 70如果该份梯度是来自于异步组中的工作节点，则执行初始阶段中的步骤1和2； 80循环执行步骤3040506070，直到工作节点训练结束。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州大学，其通讯地址为：510006 广东省广州市大学城外环西路230号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。