中国科学技术大学苏州高等研究院;中国科学技术大学许杨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学技术大学苏州高等研究院;中国科学技术大学申请的专利基于自适应流水并行的分割式联邦学习方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121436102B 。
龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202512044964.7,技术领域涉及:G06N3/098;该发明授权基于自适应流水并行的分割式联邦学习方法及装置是由许杨;谢钻;徐宏力;廖云铭;姚志伟设计研发完成,并于2025-12-31向国家知识产权局提交的专利申请。
本基于自适应流水并行的分割式联邦学习方法及装置在说明书摘要公布了:本发明公开了一种基于自适应流水并行的分割式联邦学习方法及装置。该方法包括:对于每一设备:该设备将底部子模型分割为多个分割模型,依次分别对各分割模型进行前向传播、将前向传播后该分割模型对应的中间激活数据上传至服务器;服务器接收到中间激活数据后,利用顶部子模型进行前向传播和反向传播,得到相应分割模型的梯度并下发至相应设备;对于每一设备:该设备接收到梯度后,利用其设定权重对梯度进行更新,设定权重与该设备在当前轮次的更新频次成反比,并利用更新后的梯度对其本地的底部子模型进行更新;前后向传播、数据上传、梯度下发、模型更新以流水线的方式并行进行。本发明加速大模型在资源受限边缘设备上的训练并维持精度。
本发明授权基于自适应流水并行的分割式联邦学习方法及装置在权利要求书中公布了:1.一种基于自适应流水并行的分割式联邦学习方法,其特征在于,所述方法应用于联邦学习框架,所述联邦学习框架包括服务器和多个设备,所述方法包括: 对于每一所述设备:该设备将本地的底部子模型分割为多个设定大小的分割模型,依次分别对各所述分割模型进行前向传播、以及将前向传播后该分割模型对应的中间激活数据上传至所述服务器; 所述服务器接收到所述中间激活数据后,利用其顶部子模型进行前向传播和反向传播,得到相应分割模型的梯度并下发至相应设备;其中,所述服务器中的前向传播、反向传播和梯度下发以流水线的方式并行进行; 对于每一所述设备:该设备接收到所述梯度后,利用其设定权重对所述梯度进行更新,所述设定权重与该设备在当前轮次的更新频次成反比,并利用更新后的梯度对其本地的底部子模型进行更新;其中,该设备中的前向传播、数据上传和模型更新以流水线的方式并行进行;更新后的底部子模型为: ; 其中,、分别为设备i在第k轮训练时更新前、更新后的底部子模型;为第一学习率;为设备i的设定权重;表示设备i接收到的用于本地计算的梯度;,为所述联邦学习框架中设备的数量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学苏州高等研究院;中国科学技术大学,其通讯地址为:215000 江苏省苏州市工业园区仁爱路188号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励