精为技术(天津)有限公司冯为嘉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉精为技术(天津)有限公司申请的专利一种基于个性化模型压缩的联邦反向知识蒸馏方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120874939B 。
龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511376427.6,技术领域涉及:G06N3/082;该发明授权一种基于个性化模型压缩的联邦反向知识蒸馏方法及系统是由冯为嘉;田怡;曹钧溥;王晨阳;张偌嘉;左心宇;毕重科设计研发完成,并于2025-09-25向国家知识产权局提交的专利申请。
本一种基于个性化模型压缩的联邦反向知识蒸馏方法及系统在说明书摘要公布了:本发明提出一种基于个性化模型压缩的联邦反向知识蒸馏方法及系统,旨在解决传统方法在通信效率、模型个性化和异构设备适配方面的不足。在该方法中,服务器在下发全局模型的同时,会提供压缩策略的参考模板,客户端在接收到模型后,并不是直接使用原始结构进行本地训练,而是首先依据自身硬件条件、网络带宽、本地数据分布以及输入特征复杂度,对压缩策略进行本地化调整,从而生成适配性更高的个性化模型结构。在压缩过程中,本发明与传统的固定比例压缩方式不同,本发明可以在压缩比例、参数保留位置和精度调整等方面进行自适应优化,使最终生成的个性化模型既能够在本地设备上高效运行,又能在任务性能上保持与原始模型接近的精度。
本发明授权一种基于个性化模型压缩的联邦反向知识蒸馏方法及系统在权利要求书中公布了:1.一种基于个性化模型压缩的联邦反向知识蒸馏方法,其特征在于,包括如下步骤: S1,服务器将当前全局模型发送给各参与联邦学习的客户端,所述客户端根据本地的私有数据分布特征、全局模型参数的复杂度以及本地计算资源,制定个性化的逐层模型压缩策略,明确每一层网络应保留的结构比例; S2,所述客户端根据所制定的多个逐层候选压缩方案,对接收到的全局模型执行逐层低秩压缩操作,生成多个压缩模型,所述客户端使用本地验证数据集评估多个所述压缩模型的准确率,选择表现最优的一种所述压缩模型作为本轮训练模型; S3,所述客户端利用本地私有数据对所述本轮训练模型进行多轮本地训练,获得贴合本地数据分布的更新模型; S4,所述客户端使用所述更新模型在一个共享的无标签公共数据集上进行前向推理,生成对样本的预测概率,所述客户端将所述预测概率上传至所述服务器; S5,所述服务器接收到多个所述客户端的所述预测概率后,根据每个客户端模型的所述预测概率的准确性以及每个所述客户端模型的所述预测概率与所述服务器模型输出之间的一致性,计算每个所述客户端的权重; S6,所述服务器将多个所述客户端的所述预测概率按权重进行加权融合,形成加权预测概率分布,所述服务器以自身当前模型为学生模型,通过最小化所述学生模型的输出与加权融合结果之间的差异,完成一次蒸馏训练,并更新所述服务器全局模型的参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人精为技术(天津)有限公司,其通讯地址为:300192 天津市南开区科研西路天津科技广场4号楼0627(天开园);或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励