买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利基于差分隐私的异构联邦微调语言模型构建方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150357B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411379992.3，技术领域涉及：G06F21/62；该发明授权基于差分隐私的异构联邦微调语言模型构建方法及系统是由李雨晴;闫楠;王雄;陈晶;何琨;熊翘楚设计研发完成，并于2024-09-30向国家知识产权局提交的专利申请。

本基于差分隐私的异构联邦微调语言模型构建方法及系统在说明书摘要公布了：本发明公开了一种基于差分隐私的异构联邦微调语言模型构建方法及系统，参数服务器先对具有相似能力的客户端聚类，依据资源感知聚类，并为每个类根据计算资源算力大的类别获得更大秩的自适应矩阵，从而实现灵活的低秩自适应矩阵的秩，以增强微调性能。在每一类内部，采用隐私联邦微调，包括具有敏感度感知的噪声分配和正则项优化两部分，取得更好的训练效率和减小的噪声影响。在每个类之间，通过知识蒸馏技术，执行异构的低秩自适应矩阵聚合，其中包括知识聚合和选取高质量的知识来增强本地模型。本发明能够提供严格的隐私保障，并能够在异构环境下缓解差分隐私对低秩自适应矩阵微调的影响，实现更高的效率和准确率。

本发明授权基于差分隐私的异构联邦微调语言模型构建方法及系统在权利要求书中公布了：1.一种基于差分隐私的异构联邦微调语言模型构建方法，其特征在于：所述异构联邦微调语言模型，其客户端本地模型通过训练获得；训练过程具体包括以下步骤： 步骤1：参数服务器依据每个客户端的资源能力将所有参与的N个客户端聚类为C类，并为每一类分配对应等级的低秩自适应矩阵LoRA； 步骤2：在客户端本地模型每轮训练开始时，参数服务器为每个类c选择参与的客户端集合Pc和一个聚类客户端pc，每个被选中的客户端多次训练并更新本地模型；被选择到的客户端参与本轮的训练，在自己的私有数据集上，对本地模型执行低秩自适应矩阵LoRA微调，只更新本地的可训练参数wi，冻结预训练权重W0； 步骤3：被选中的客户端完成本地模型更新后，执行隐私微调，为本地模型更新添加参数敏感的差分隐私噪声和正则项优化，并将隐私保护的隐私模型更新发送给聚类客户端pc； 步骤4：类内执行同构聚合；对于每个类c，每个类的聚类客户端pc收到同一类中其他客户端i∈Pc的隐私模型更新其中仅包括LoRA可训练参数，不包括冻结部分的参数，并执行FedAvg的联邦平均聚合，得到聚类模型wc＝[Ac，Bc]；其中，Ac，Bc分别为聚合后的wc对应的两个低秩矩阵； 步骤5：类间执行异构聚合；每个类的聚类客户端在公共数据集上计算知识fc，并将知识发送给参数服务器，用于后续的异构LoRA聚合； 步骤6：参数服务器对于收到的各个类的知识，首先通过知识之间的相关性计算聚合权重ωc，然后执行权重聚合，得到全局知识F； 步骤7：参数服务器从聚合后的知识中，选择每个公共数据集样本的置信度大于阈值φ的知识fs，并发送给各个聚类客户端； 步骤8：各个聚类客户端pc，c≤C对于收到的全局被选择的知识fs，在公共数据集上面执行知识蒸馏过程，更新聚类模型wc，并下发给类内的各个客户端Pc； 步骤9：每个类内的客户端收到聚类客户端pc下发的聚类模型wc参数，更新自己本地的LoRA模块wi以及本地模型Wi＝Wo+BcAc。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区八一路299号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。