买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉郑州大学申请的专利一种基于知识蒸馏的联邦学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115965084B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310057953.0，技术领域涉及：G06N5/022；该发明授权一种基于知识蒸馏的联邦学习方法及系统是由陈永霞;周旭设计研发完成，并于2023-01-18向国家知识产权局提交的专利申请。

本一种基于知识蒸馏的联邦学习方法及系统在说明书摘要公布了：本发明提供一种基于知识蒸馏的联邦学习方法及系统，方法包括：在第t‑1轮训练的最后一步，服务端整合所有当前轮处于活跃状态客户端上传的本地模型，得到ACA模型；整合缓存槽中所有的本地模型，得到OCA模型；在第轮训练中，服务端向处于活跃状态的客户端广播最新的ACA模型和OCA模型；在客户端中采用无数据知识蒸馏技术，将教师模型的知识传递给本地模型；而后所有处于活跃状态的客户端都将本地模型上传给服务端；服务端更新缓存槽中的本地模型，其中，当前轮不处于活跃状态的客户端对应的缓存槽的本地模型保持不变；更新后服务端重新整合本地模型，得到新的ACA模型和新的OCA模型；返回进行下一轮训练。

本发明授权一种基于知识蒸馏的联邦学习方法及系统在权利要求书中公布了：1.一种基于知识蒸馏的联邦学习方法，其特征在于，包括： 配置服务端和客户端，其中，客户端用于训练本地模型，服务端维护有K个不同的用于存储最新的本地模型的缓存槽；在每一轮训练中，只有处于活跃状态的客户端需要将本地模型上传给服务端； 服务端和客户端按以下方法实现联邦学习： 步骤1，在第t‑1轮训练的最后一步，服务端整合所有当前轮处于活跃状态客户端上传的本地模型，即，得到表示全局模型的ACA模型；同时，整合缓存槽中所有的本地模型，即，得到表示全局知识的OCA模型； 步骤2，在第轮训练中，只有处于活跃状态的客户端参与训练，用表示当前轮处于活跃状态的客户端ID，服务端向广播最新的ACA模型和OCA模型； 步骤3，接收到ACA模型和OCA模型后，每个处于活跃状态的客户端分别将ACA模型和OCA模型视为初始本地模型和教师模型，分别用wk和表示，其中，初始本地模型在知识蒸馏过程中充当学生模型； 步骤4，采用无数据知识蒸馏技术，将教师模型的知识传递给本地模型；在无数据知识蒸馏中，训练一个用于生成伪样本以实现知识蒸馏的生成器；同时，利用每个客户端的本地数据对本地模型进行训练，以将来自教师模型的全局知识Global和来自本地数据的本地知识Local融合并传递给本地模型； 用于生成伪样本以实现知识蒸馏的生成器的损失函数按下述方法训练： 定义g·表示生成器的输出，和分别表示教师模型的特征向量输出和概率向量输出，输入噪声向量z~N0,1，生成器输出伪样本=gz，输入伪样本，教师模型输出概率向量； 设计One‑Hot损失函数： 伪样本被期望以较高的概率被教师模型预测为某个特定类别，因此，通过来计算伪标签，One‑Hot损失函数定义为： 其中，CE是交叉熵，如果LOH被最小化，则生成器生成的样本被教师模型以很高的概率分类到某个特定的类中，对于真实样本也是如此； 设计信息熵损失函数： 为了使生成器生成的数据能够覆盖所有类，采用信息熵来衡量生成数据的分布的均匀性；即，给定一个概率向量p=p1,…,pd，则信息熵表示成，于是信息熵损失函数被定义为： 当LIE靠近最小值时，生成器生成的数据倾向于每个类有着相同数量；因此，最小化信息熵损失函数会得到一个相对平衡的数据集； 设计Activation损失函数： 真实样本的特征向量倾向于获得较高的激活值，因此，Activation损失函数被定义为： 其中，表示l1范数； 综合以上三个损失函数，训练的生成器的总损失函数为： LG=LIE+λ1LOH+λ2LA其中，λ1和λ2是平衡三个损失函数的超参数； 客户端采用Global‑Local知识融合技术训练本地模型，按下述方法训练损失函数： 定义h·表示本地模型的概率向量输出； 设计KL损失函数： 为了让每个客户端使用生成器生成的数据将全局知识从教师模型传递给本地模型，同时，本地模型从本地数据中学习本地知识，则KL损失函数定义如下： 其中，KL表示Kullback‑Leibler divergence散度；最小化LKL使得本地模型向教师模型靠拢，即学习全局知识； 设计CE损失函数： 用表示第k个客户端的本地数据，则CE损失函数定义为： 其中，CE表示交叉熵，最小化LCE使得本地模型学习来自本地数据的本地知识； 综合以上两个损失函数，Global‑Local知识融合的总损失函数为： L=LCE+γLKL其中，γ是一个超参数，用于平衡两个损失函数；最小化L使得Global‑Local知识融合到本地模型中； 步骤5，在Global‑Local知识融合后，所有处于活跃状态的客户端都将本地模型上传给服务端； 步骤6，服务端接收到客户端上传的本地模型后，根据客户端的ID更新缓存槽中的本地模型，其中，当前轮不处于活跃状态的客户端对应的缓存槽的本地模型保持不变； 更新完所有处于活跃状态的客户端对应的缓存槽的本地模型后，服务端重新整合本地模型，得到新的ACA模型和新的OCA模型； 返回步骤1进行下一轮训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人郑州大学，其通讯地址为：450001 河南省郑州市高新技术产业开发区科学大道100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。