南京邮电大学赵海涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京邮电大学申请的专利残差自适应压缩的高效通信联邦学习模型训练方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119539028B 。
龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411362878.X,技术领域涉及:G06N3/098;该发明授权残差自适应压缩的高效通信联邦学习模型训练方法及系统是由赵海涛;吕锦钰;王祎明;孙金龙;徐波;史曜炜设计研发完成,并于2024-09-27向国家知识产权局提交的专利申请。
本残差自适应压缩的高效通信联邦学习模型训练方法及系统在说明书摘要公布了:本发明涉及分布式学习和无线通信技术领域,特别是一种残差自适应压缩的高效通信联邦学习模型训练方法及系统。客户端获取全局模型并更新;利用本地模型内存集和更新模型权重获得本地模型残差;对残差进行自适应稀疏压缩并传输至服务器;服务器选择可靠客户端进行模型权重预测和聚合;将更新后的全局模型广播至客户端,重复上述步骤直至收敛。本发明通过自适应压缩和可靠客户端选择,显著降低了通信开销,提高了模型收敛速度和最终性能。特别适用于资源受限的边缘计算场景,有效解决了联邦学习中的通信效率、模型性能和隐私保护等关键问题,为联邦学习的广泛应用提供了新的可能性。
本发明授权残差自适应压缩的高效通信联邦学习模型训练方法及系统在权利要求书中公布了:1.一种残差自适应压缩的高效通信联邦学习模型训练方法,其特征在于:包括, 客户端获取联邦学习全局模型,并使用本地数据集进行模型更新; 客户端利用本地模型内存集和更新模型权重获得本地模型残差; 客户端对本地模型残差进行自适应稀疏压缩,将其通过上行链路传输到服务器,并产生历史模型权重保存在本地模型内存集中; 所述客户端对本地模型残差进行自适应稀疏压缩,将其通过上行链路传输到服务器,并产生历史模型权重保存在本地模型内存集中包括如下步骤: 稀疏压缩表征通过去掉原始向量中一些不重要的元素,将原始向量转换为具有少量非零元素的稀疏向量; 稀疏压缩方法通过将本地模型残差中的大于某个阈值的元素发送给服务器,以减少通信所占的带宽,不同的稀疏化阈值会影响通信开销和模型准确率,需要动态设定稀疏化阈值,根据模型准确率和迭代轮次来选择最佳的稀疏化阈值;要实现对稀疏化阈值进行自适应选择,需要动态设定稀疏压缩率: ; 其中,和分别表示客户端在第轮训练时的稀疏压缩率和模型准确率,T表示训练轮次的总次数,和是权重系数; 稀疏化阈值根据稀疏压缩率和本地模型残差来确定: ; 其中,表示客户端在第轮训练时的稀疏化阈值,表示模型残差压缩后的剩余元素个数,表示本地模型残差的元素个数,表示将降序排序后,取排序在第个位置所对应的参数值,表示取绝对值; 将本地模型残差中的元素按如下公式计算得到压缩模型残差: ; 其中,和分别表示压缩模型残差和本地模型残差的第个元素;客户端将压缩模型残差通过上行链路发送到服务器; 客户端利用压缩模型残差和预测模型权重获得历史模型权重: ; 其中,表示保存在本地模型内存集中在第轮训练时客户端的历史模型权重; 服务器选择可靠的客户端进行本地模型权重预测,将其保存在全局模型内存集中,并完成联邦学习模型聚合; 所述服务器选择可靠的客户端进行本地模型权重预测,将其保存在全局模型内存集中,并完成联邦学习模型聚合包括如下步骤: 服务器根据客户端与服务器之间的数据包错误率来评估客户端的通信可靠性; 服务器将接收到的本地模型残差和个全局历史模型权重输入到模型预测模块,获得预测的本地模型权重; 服务器对各客户端的预测模型权重进行联邦学习模型聚合; 因无线上行链路的不可靠性,客户端在传输模型残差时会产生误码,服务器则需要选择可靠的客户端参与联邦学习的模型聚合, 服务器根据客户端与服务器之间的数据包错误率来评估客户端的通信可靠性,客户端与服务器之间的数据包错误率通过下式计算: ; 其中,是客户端与服务器之间的数据包错误率,是客户端与服务器之间的信道增益,是对的数学期望,是客户端上行传输带宽,是噪声功率谱密度,是客户端的发射功率,是客户端与服务器之间数据传输的编码增益的倒数; 服务器将聚合更新的全局模型通过下行链路广播至各个客户端,重复上述步骤多次,直至各个客户端模型收敛至最优全局模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京邮电大学,其通讯地址为:210000 江苏省南京市栖霞区广月路30-06号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励