Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 中国科学技术大学杨勋获国家专利权

中国科学技术大学杨勋获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉中国科学技术大学申请的专利一种基于模型反演与蒸馏的联邦学习图像识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119785110B

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411967201.9,技术领域涉及:G06V10/764;该发明授权一种基于模型反演与蒸馏的联邦学习图像识别方法是由杨勋;郝晓磊;戴嵘;沈力设计研发完成,并于2024-12-30向国家知识产权局提交的专利申请。

一种基于模型反演与蒸馏的联邦学习图像识别方法在说明书摘要公布了:本发明公开了一种基于模型反演与蒸馏的联邦学习图像识别方法,包括:1.在各个客户端上训练本地图像模型并上传到联邦中心服务器;2.联邦中心服务器接收本地图像模型并进行加权聚合;3.联邦中心服务器利用本地图像模型进行深度反演来构建合成数据集;4.联邦中心服务器利用合成数据集进行图元重标记和知识蒸馏;5.对全局图像模型参数进行迭代优化,得到最优参数的全局模型并下发给各个客户端用于图像识别。本发明采用深度反演方法合成数据,并通过注意力权重对生成的不同信息密度的图元进行筛选,并在后续知识蒸馏阶段对信息密度低的图元利用集成模型进行重标记,从而解决针对数据异构场景下单次通信联邦学习的图像识别问题。

本发明授权一种基于模型反演与蒸馏的联邦学习图像识别方法在权利要求书中公布了:1.一种基于模型反演与蒸馏的联邦学习图像识别方法,其特征在于,是应用于由个客户端和一个联邦中心服务器所组成的系统中,其中,第个客户端拥有私有的带标签的本地图像样本集,和分别表示第个客户端的第个本地图像样本及其对应的真实标签,,为客户端的总数,,为第个客户端的本地图像样本的总数;所述联邦学习图像识别方法是按照如下步骤进行: 步骤1、在各个客户端上训练本地图像模型,得到训练后的本地图像模型并上传到联邦中心服务器; 步骤2、所述联邦中心服务器接收个客户端上传的训练后的本地图像模型并对各个训练后的本地图像模型的参数进行加权聚合,从而利用式2得到全局模型的参数; 2 式2中,表示第个客户端训练后的本地图像模型的参数,表示的权重; 步骤3、所述联邦中心服务器对所接收到的个客户端上传的训练后的本地图像模型进行深度反演,以构建模型反演的整体损失函数、合成数据集和稀疏图元数据集; 步骤3.1、随机采样一个批次的带有真实标签的噪声样本集合,,其中,表示噪声样本集合,表示第个噪声样本,且符合高斯分布,表示的真实标签集合,表示的真实标签,,为一个批次的采样总数; 步骤3.2、定义当前时刻为,并初始化,将作为时刻带有真实标签的噪声样本集合,记为;其中,表示时刻的噪声样本集合,表示时刻的第个噪声样本,且符合高斯分布,表示的真实标签集合,表示的真实标签; 步骤3.3、所述联邦中心服务器利用本地图像模型对中各个噪声样本进行处理,得到时刻第个本地预测概率向量;其中,表示对的本地预测概率; 步骤3.4、根据式3构建时刻本地图像模型的分类损失; 3 式3中,为符号函数,表示时刻一个批次中的第个噪声样本的真实类别信息,若,表示第个噪声样本属于第个类别,若,表示第个噪声样本不属于第个类别; 步骤3.5、所述联邦中心服务器利用全局模型对中各个噪声样本进行处理,得到时刻的全局预测概率向量;其中,表示对的全局预测概率; 步骤3.6、根据式4构建时刻的第个JS散度损失; 4 式4中,表示KL散度; 步骤3.7、根据式5计算的L2范数总变分正则化损失; 5 式5中,分别表示噪声样本的通道数、高度和宽度;表示沿宽度方向的相邻像素差异,表示沿高度方向的相邻像素差异,表示沿从上到下、从左到右的对角线方向的相邻像素差异,表示沿从上到下、从右到左的对角线方向的相邻像素差异; 步骤3.8、对进行不同的线性变换,相应得到时刻的查询向量、时刻的键向量和时刻的值向量,并输入ViT模型中进行处理,得到时刻的注意力权重;并将中的第1行向量记为; 步骤3.9、利用式6获得时刻的高信息密度图元; 6 式6中,表示时刻的注意力权重中第1行向量的掩码矩阵; 步骤3.10、利用式7得到时刻的低信息密度图元; 7 步骤3.11、根据式8构建联邦中心服务器用于第次模型反演的第个整体损失函数; 8 式8中,和表示JS散度和正则化损失的缩放因子超参数; 步骤3.12、各个客户端的本地图像模型利用损失函数对训练,得到第次模型反演的合成数据集和稀疏图元数据集; 步骤3.13、将赋值给,然后返回步骤3.3顺序执行,直到达到最大迭代次数为止,将个客户端反演的合成数据进行汇总,从而得到联邦中心服务器经过次模型反演后的合成数据集和稀疏图元数据集,并根据式9构建联邦中心服务器用于次模型反演的整体损失函数: 9 式9中,表示训练后的本地图像模型的集合,且,表示第个客户端训练后的本地图像模型; 步骤4、所述联邦中心服务器利用和对进行知识蒸馏和图元重标记,以构建知识蒸馏的损失函数、稀疏图元的分类损失和图元重标记损失,从而得到损失函数; 步骤5、所述联邦中心服务器基于和构建总损失函数,用于对全局模型进行训练,得到训练好的全局模型并下发至各客户端,用于实现图像的分类识别。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。