中国科学技术大学白有辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学技术大学申请的专利通信与计算重叠优化方法、系统、设备与存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121441754B 。
龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202512011131.0,技术领域涉及:H04L41/0823;该发明授权通信与计算重叠优化方法、系统、设备与存储介质是由白有辉;徐振国;许冠斌;李宇哲;李诚设计研发完成,并于2025-12-29向国家知识产权局提交的专利申请。
本通信与计算重叠优化方法、系统、设备与存储介质在说明书摘要公布了:本发明公开了一种通信与计算重叠优化方法、系统、设备与存储介质,它们是相对应的方案,方案中可以在不引入过多开销的前提下,通过对通信参数的优化提升计算通信重叠的性能;并且,能够通过有效的优化方法,在庞大的搜索空间中快速找到性能较优的配置;基于以上方案,可以在保证计算任务和NCCL库的集合通信任务能正确执行的前提下,动态优化通信参数,平衡资源使用,提升计算与通信重叠的性能,适用于复杂的计算通信重叠场景,并能在深度神经网络模型分布式训练的过程中快速的收敛;在多个集群和模型的评估表明,本发明能够在深度神经网络模型训练上快速收敛,同时能够保证相较于NCCL更高的性能收益。
本发明授权通信与计算重叠优化方法、系统、设备与存储介质在权利要求书中公布了:1.一种通信与计算重叠优化方法,其特征在于,包括: 获取分布式训练中所有工作节点中的通信与计算重叠组; 对每一通信与计算重叠组分别进行优化,包括:每一轮中,从通信与计算重叠组中选择一个待优化的通信任务,在当前参数配置下执行通信与计算重叠组,获得性能结果;根据所述性能结果判断待优化的通信任务的性能以及通信与计算重叠组的整体性能是否未达到最优,若均未达到最优,则对待优化的通信任务中与计算资源分配相关的参数进行优化,生成新的参数配置,并进入下一轮,直至通信与计算重叠组中所有通信任务的性能或者通信与计算重叠组的整体性能达到最优; 其中,所述从通信与计算重叠组中选择一个待优化的通信任务包括:从通信与计算重叠组中选择一个优化完成情况为未完成,且优先级最高的通信任务; 所述根据所述性能结果判断待优化的通信任务的性能以及通信与计算重叠组的整体性能是否未达到最优,若均未达到最优,则对待优化的通信任务中与计算资源分配相关的参数进行优化,生成新的参数配置包括:根据所述性能结果判断待优化的通信任务的性能是否达到最优;若待优化的通信任务的执行时间相较于之前的执行时间不再缩短或者变长,则表示性能达到最优;否则,表示性能未达到最优,结合当前参数配置下的性能结果与上一配置下的性能结果更新待优化的通信任务的优先级;其中,若当前为第一次执行通信与计算重叠组,则上一配置为预设的默认配置;之后,判断通信与计算重叠组的整体性能是否达到最优,即判断通信与计算重叠组中所有通信任务的执行时间是否小于等于计算任务的执行时间,若是,则性能达到最优;若否,则性能未达到最优,根据性能提升百分比对待优化的通信任务中与计算资源分配相关的参数进行动态优化;其中,计算任务的执行时间与通信任务的执行时间均属于性能结果中的信息; 所述结合当前参数配置下的性能结果与上一配置下的性能结果更新待优化的通信任务的优先级包括:根据当前参数配置下的性能结果与上一配置下的性能结果确定待优化的通信任务的性价比,并作为待优化的通信任务更新后的优先级;其中,所述待优化的通信任务的性价比是指增加待优化的通信任务的计算资源带来的计算任务的执行时间的增长与通信任务的执行时间的缩短的比值,所述计算任务的执行时间与通信任务的执行时间均属于性能结果中的信息,比值越小,则表明增加待优化的通信任务的通信资源对通信与计算重叠组带来的性能提升越大,对计算任务带来的损失越小。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励