买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉平安科技(深圳)有限公司申请的专利基于低秩适配的模型微调方法、装置、服务器及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119128353B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411179469.6，技术领域涉及：G06F17/16；该发明授权基于低秩适配的模型微调方法、装置、服务器及存储介质是由朱威设计研发完成，并于2024-08-26向国家知识产权局提交的专利申请。

本基于低秩适配的模型微调方法、装置、服务器及存储介质在说明书摘要公布了：本申请涉及人工智能领域，提供了一种基于低秩适配的模型微调方法、装置、服务器及存储介质。本申请实施例通过在训练预训练模型N0次后，确定配置给预训练模型的秩数的门控矩阵中的各对角元素对预训练模型的影响力分数，并基于各对角元素的影响力分数，对预训练模型的影响力较低的对角元素所属的门控矩阵进行更新，以调整与更新的门控矩阵对应的低秩参数矩阵的秩数，这样在调整秩数前的预训练模型的损失值大于调整秩数后的预训练模型的损失值时，继续调整秩数以及基于调整后的秩数对预训练模型进行训练，反之停止训练，从而能够防止预训练模型过拟合，提高了预训练模型的参数微调效果，以保证微调后的预训练模型的准确性。

本发明授权基于低秩适配的模型微调方法、装置、服务器及存储介质在权利要求书中公布了：1.一种基于低秩适配的模型微调方法，其特征在于，包括： 配置待微调的预训练模型中的每个模块的低秩参数矩阵以及所述低秩参数矩阵的秩数的门控矩阵，所述门控矩阵是对角矩阵，且所述门控矩阵中的对角元素的数量与所述秩数相同； 根据预设的训练样本数据集，训练所述预训练模型N0次，以更新所述低秩参数矩阵N0次，得到第一模型，N0为大于或等于2的整数，所述训练样本数据集包括样本文本以及标注的语音； 确定每个所述门控矩阵中的各所述对角元素对所述预训练模型的影响力分数以及根据所述训练样本数据集，训练所述第一模型N1次，以更新所述低秩参数矩阵N1次，得到第二模型，根据预设的验证样本数据集，确定所述第二模型的第一损失值，N1为大于或等于2的整数； 根据每个所述门控矩阵中的各所述对角元素对所述预训练模型的影响力分数，确定多个目标对角元素，所述多个目标对角元素的所述影响力分数均小于除所述多个目标对角元素以外的任一所述对角元素的所述影响力分数； 更新每个所述目标对角元素所属的所述门控矩阵，以调整与更新的所述门控矩阵对应的所述低秩参数矩阵的秩数，得到第三模型； 根据所述训练样本数据集，训练所述第三模型N1次，以更新所述低秩参数矩阵N1次，得到第四模型以及根据所述验证样本数据集，确定所述第四模型的第二损失值； 在所述第二损失值小于所述第一损失值的情况下，将所述第一模型更新为所述第四模型，并返回执行所述确定每个所述门控矩阵中的各所述对角元素对所述预训练模型的影响力分数以及根据所述训练样本数据集，训练所述第一模型N1次，以更新所述低秩参数矩阵N1次，得到第二模型，根据预设的验证样本数据集，确定所述第二模型的第一损失值的步骤； 在所述第二损失值大于所述第一损失值的情况下，停止训练，并将当前的每个所述低秩参数矩阵回退为所述第一模型中的每个所述低秩参数矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安科技(深圳)有限公司，其通讯地址为：518057 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。