南京邮电大学蔡思齐获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京邮电大学申请的专利一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121256789B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511816904.6,技术领域涉及:G06F21/56;该发明授权一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法是由蔡思齐;周浩;戴华;黄玺瑄;闫旭隆;孔煜凯;罗京;杨庚设计研发完成,并于2025-12-04向国家知识产权局提交的专利申请。
本一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法在说明书摘要公布了:本发明提出一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法,属于人工智能安全与联邦学习技术领域,包括:步骤一,基于贡献度加权的联邦预训练与本地神经特征函数匹配的数据集蒸馏与核心表征提取;步骤二,基于多特征融合的自适应噪声后门防御处理;步骤三,大模型微调与后门防御效果验证,本发明采用基于神经特征函数匹配的数据集蒸馏机制与自适应噪声防御策略,实现了大模型在数据精简、隐私保护和后门防御鲁棒性之间的有效平衡,对提升人工智能系统在分布式环境下的安全性与可靠性具有重要意义。
本发明授权一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法在权利要求书中公布了:1.一种面向大模型微调的隐私保护联邦蒸馏与后门防御方法,其特征在于:包括以下步骤: 步骤一,基于贡献度加权的联邦预训练与本地神经特征函数匹配的数据集蒸馏与核心表征提取; 步骤一包括以下步骤: 步骤1-1,边缘服务器与客户端通过联邦学习训练全局预训练模型,并通过基于客户端更新质量评估的动态加权聚合策略; 步骤1-1包括以下步骤: 步骤1-1-1:边缘服务器初始化全局预训练模型参数,并协调个客户端参与联邦学习训练; 步骤1-1-2:在第轮联邦学习过程中,边缘服务器将当前全局模型下发给各客户端; 步骤1-1-3:各客户端基于本地多源异构数据对接收的全局模型进行本地训练,通过优化目标得到本地模型更新; 其中,表示第个客户端第轮联邦学习开始时,由边缘服务器下发的全局模型参数;表示第个客户端在第轮本地训练结束后得到的本地更新后的模型参数;表示第个客户端基于其本地数据集定义的本地损失函数; 步骤1-1-4:边缘服务器计算各客户端模型更新的鲁棒性权重,其计算方式为基于更新相似度与基于损失变化的两种评估结果的加权组合,具体步骤如下: 1计算基于更新相似度的权重:计算客户端的模型更新与所有其他客户端模型更新的平均余弦相似度,即; 2计算基于损失变化的权重:根据客户端的本地训练损失变化计算权重,损失下降越显著则权重越高,具体为: 1, 其中,为一个大于零的超参数;表示第个客户端在第轮本地训练结束时的本地损失值;表示第个客户端在第轮本地训练结束时的本地损失值; 3对相似度的权重和损失变化的权重分别进行归一化处理,得到相似度的归一化权重和损失变化的归一化权重; 4计算最终的鲁棒性权重为相似度的归一化权重和损失变化的归一化权重的线性组合: 2, 其中,为一个介于0和1之间的超参数; 步骤1-1-5:边缘服务器基于鲁棒性权重与各客户端数据量,进行加权聚合以更新全局预训练模型: 3, 其中,为一个介于0和1之间的超参数;表示第个客户端在第轮的综合鲁棒性权重,由步骤1-1-4中基于更新相似度与损失变化计算并归一化后加权融合得到;表示第个客户端所持有的本地数据集中包含的样本数量;为归一化分母; 步骤1-1-6:重复执行步骤1-1-2至步骤1-1-5,当联邦训练轮次达到预设的最大训练轮次时结束训练,得到最终的全局预训练模型,保存轮训练过程中得到的全部全局预训练模型 步骤1-2:各客户端利用预训练模型将本地数据映射至隐空间,基于NCFD度量通过最大最小化优化框架进行数据分布压缩,生成蒸馏数据并上传至边缘服务器; 步骤二,基于多特征融合的自适应噪声后门防御处理; 步骤三,大模型微调与后门防御效果验证。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京邮电大学,其通讯地址为:210003 江苏省南京市栖霞区文苑路9号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励