买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利基于弹性联邦低秩适配微调的大语言模型训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443311B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411482255.6，技术领域涉及：G06N20/00；该发明授权基于弹性联邦低秩适配微调的大语言模型训练方法及系统是由李雨晴;王浩然;王雄;陈晶;闫楠;何琨设计研发完成，并于2024-10-23向国家知识产权局提交的专利申请。

本基于弹性联邦低秩适配微调的大语言模型训练方法及系统在说明书摘要公布了：本发明公开了一种基于弹性联邦低秩适配微调的大语言模型训练方法及系统，采用基于奇异值分解SVD的联邦聚合，将客户端本地LoRA模块重构为本地增量矩阵，然后聚合为全局增量矩阵，并通过SVD生成下一轮次的LoRA模块，有效消除传统FedLoRA的聚合误差。本发明为每个权重矩阵动态分配LoRA秩，实现了统计与硬件效率的平衡。为进一步减少通信开销并保持模型精度，本发明引入自适应矩阵冻结机制，依据权重矩阵的训练稳定性判断是否进行冻结。本发明解决了传统FedLoRA在训练效率、通信开销、模型精度等方面的挑战。

本发明授权基于弹性联邦低秩适配微调的大语言模型训练方法及系统在权利要求书中公布了：1.一种基于弹性联邦低秩适配微调的大语言模型训练方法，参与实体包括参数服务器和客户端；其特征在于，包括以下步骤： 步骤1：客户端选择与全局模型参数分发； 在第t轮训练开始时，参数服务器随机选择一部分客户端并将全局模型参数分发给这些客户端；其中，客户端集合 分别是对进行低秩分解后的结果； 步骤2：本地低秩适配微调； 被选择的客户端接收全局模型参数后，利用本地数据进行E步随机梯度下降，生成本地更新的低秩适配增量矩阵并将其发送回参数服务器； 步骤3：基于奇异值分解的联邦聚合与动态秩分配； 参数服务器接收所有客户端的低秩适配增量矩阵，通过基于奇异值分解的聚合算法，将各客户端的低秩适配增量矩阵加权聚合为全局权重增量矩阵通过奇异值分解分解并根据奇异值的重要性分配适当的秩，生成新的全局低秩适配矩阵和其中，U表示左奇异矩阵、S表示奇异值向量、V表示右奇异矩阵、Ur表示左奇异矩阵的前r行与前r列、Sr表示奇异值向量的前r个元素、Vr表示右奇异矩阵的前r行与前r列； 步骤4：自适应矩阵冻结； 参数服务器评估每个全局权重增量矩阵的训练稳定性，根据冻结阈值δ决定是否冻结某些全局权重增量矩阵以减少需要传输的参数量；同时，动态调整冻结周期，继续训练被解冻的全局权重增量矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区八一路299号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。