电子科技大学凌世谋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉电子科技大学申请的专利一种基于重要参数约束的连续学习的图像分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118736324B 。
龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410959681.8,技术领域涉及:G06V10/764;该发明授权一种基于重要参数约束的连续学习的图像分类方法是由凌世谋;潘力立;张亮;赵江伟;李宏亮设计研发完成,并于2024-07-17向国家知识产权局提交的专利申请。
本一种基于重要参数约束的连续学习的图像分类方法在说明书摘要公布了:本发明公开了一种基于重要参数约束的连续学习的图像分类方法,属于图像处理领域。本发明发现在极高维度的参数空间中,即使约束LoRA模块正交,也可能导致次优解,从而使得模型无法完全缓解遗忘问题。在本发明中,1发现即使在正交LoRA约束条件下,对历史任务损失敏感的模型参数在各个任务上仍会发生显著变化;2根据模型参数对损失的敏感程度定义了对当前任务中各个可训练的模型参数的重要性;3基于模型参数的重要性,提出一种重要参数约束方法,该方法通过约束当前任务模型的参数在后续任务中不发生改变,进而有效缓解了模型对当前任务知识的遗忘。实验证明,本发明提出的方法在多个连续学习数据集上均展现出优异的性能。
本发明授权一种基于重要参数约束的连续学习的图像分类方法在权利要求书中公布了:1.一种基于重要参数约束的连续学习的图像分类方法,该方法包括: 步骤1:对数据图像进行预处理; 获取真实图像数据集,并将数据集按照任务数量进行划分,每个子集对应一个连续学习任务;其中,每个子集中的图像数据会有相应的类别标注,对图像进行放缩裁剪至相同大小,并对像素值进行归一化处理; 步骤2:构建以预训练模型为特征提取网络的连续学习器; 以预训练的VisionTransformer模型作为骨干网络提取数据特征,该骨干网络包括1个图像嵌入层和12个堆叠的transformer模块;特征提取网络的输入为图像输出为图像的特征表示其中D表示特征维度;设骨干网络完成任务t的学习后更新得到的Θt表示特征提取网络参数,分类器为:Φt为分类器参数;M表示类别数量,连续学习的目标是学习一个特征提取网络f·,Θt和分类器h·,Φ,能够从迄今为止看到的任意任务中预测未见的测试样本的标签,其中Φ=[Φ1,Φ2,…Φt]; 步骤3:构建正交LoRA微调的连续学习范式; 设预训练模型参数为W0,对于任务t,其预训练模型参数表示为: Wt=W0+ω1ΔW1+ω2ΔW2+…+ωtΔWt 其中ΔWt=AtBt表示用LoRA模块学习每个任务上的知识,ω=ω1,ω2,…ωt时一组可学习的权重参数; 首先对LoRA模块中的低秩矩阵At进行QR分解,因此模型在任务t上的权重更新在一个低秩空间中进行表示: △Wt=AtBt=QtRtBt 其中的Qt是单位正交矩阵,Rt则是上三角矩阵,LoRA模块ΔWt的每一个列向量均是Qt的列向量的线性组合,要使得不同任务对应的ΔWt之间相互正交,只需要让不同任务对应的Qt之间相互正交,由此建立如下正交损失: 其中表示将不同任务的Qt按列拼接;I表示单位矩阵,||·||2为二范数算子;这个约束能够使得的每个列向量与自身的内积为1,与其他列向量的内积为0;进而保证了不同任务上的Qt之间的正交性;结合用于分类的交叉熵损失,得到了用于训练模型的损失函数: 其中表示交叉熵损失,其中表示任务t的数据集,y表示样本的标签,λ表示权重; 步骤4:建立重要参数约束机制; 步骤5:对任务适应预测的参数进行微调; 步骤6:设计任务标识推断策略; 在预测阶段,首先推断测试样本所属的任务,进而使用步骤5微调后的分类器对测试样本的标签进行预测; 步骤7:1按照步骤1处理实验数据集; 2按照步骤2和步骤3构建连续学习器并在每个任务的训练集上训练模型; 步骤8:1在每个任务上训练完模型后,按照步骤4得到对于当前任务重要的模型参数,并在后续任务中约束其不发生改变; 2按照步骤5微调线性分类器,使其能够对当前任务及其之前任务的测试样本进行准确分类; 步骤9:1在完成所有任务的学习后,按照步骤6推断每一个测试样本所属的任务,使用特定于任务的模型参数提取测试样本特征; 2使用步骤5微调后的线性分类器对测试样本进行分类。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新区(西区)西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励