买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳市智慧城市科技发展集团有限公司;深圳市智城软件技术服务有限公司申请的专利一种大模型抗遗忘微调方法、装置、计算机设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121212374B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511768040.5，技术领域涉及：G06N5/04；该发明授权一种大模型抗遗忘微调方法、装置、计算机设备及介质是由朱润酥;孔繁昊;黄嘉铉;王昭武;张昕设计研发完成，并于2025-11-28向国家知识产权局提交的专利申请。

本一种大模型抗遗忘微调方法、装置、计算机设备及介质在说明书摘要公布了：本申请公开了一种大模型抗遗忘微调方法、装置、计算机设备及介质，该微调方法通过引入正交惩罚损失函数来解决灾难性遗忘问题，即通过构建正交惩罚损失函数，将其与原有损失函数相加得到总损失函数，在模型微调过程中，基于总损失函数，使模型训练向原始知识不遗忘的方向学习。当模型学习新知识时，Lora微调技术在增量预训练过程中易导致对原始知识的遗忘，此时正交惩罚损失函数会增大，通过反向传播进行调整，使其与原始参数矩阵保持一定的正交性，从而减轻微调后抗遗忘大模型的灾难性遗忘。

本发明授权一种大模型抗遗忘微调方法、装置、计算机设备及介质在权利要求书中公布了：1.一种大模型抗遗忘微调方法，其特征在于，包括： 对初始大模型进行预训练，得到具备通用语言理解能力的预训练模型及原始参数矩阵； 采用Lora微调技术对所述预训练模型进行增量预训练，得到初步掌握特定领域知识的增量预训练模型； 确定适配目标微调任务的原有损失函数，并对所述原始参数矩阵进行冻结； 构建正交惩罚损失函数，将所述正交惩罚损失函数与所述原有损失函数相加，得到总损失函数； 基于所述总损失函数，利用目标微调任务对应的数据集对所述增量预训练模型进行微调，得到抗遗忘大模型； 所述构建正交惩罚损失函数，将所述正交惩罚损失函数与所述原有损失函数相加，得到总损失函数，包括： 基于弗罗贝尼乌斯内积，按下式构建正交惩罚损失函数FC_Loss： 其中，λ为缩放系数，W为原始参数矩阵，A和B分别为两个低秩矩阵，W,BA  表示原始参数矩阵W与两个低秩矩阵相乘后得到的乘积矩阵BA的弗罗贝尼乌斯内积； 获取所述原有损失函数的数值范围，并根据所述数值范围调整缩放系数 λ的取值，得到调整后的正交惩罚损失函数； 将调整后的正交惩罚损失函数与所述原有损失函数相加，得到总损失函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市智慧城市科技发展集团有限公司;深圳市智城软件技术服务有限公司，其通讯地址为：518107 广东省深圳市福田区华富街道莲花一村社区皇岗路5001号深业上城(南区)T1栋12层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。