天津大学;上海人工智能创新中心冀中获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天津大学;上海人工智能创新中心申请的专利双教师类脑蒸馏持续学习图像分类方法、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119006873B 。
龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410659501.4,技术领域涉及:G06V10/764;该发明授权双教师类脑蒸馏持续学习图像分类方法、设备及存储介质是由冀中;张鸿盛设计研发完成,并于2024-05-27向国家知识产权局提交的专利申请。
本双教师类脑蒸馏持续学习图像分类方法、设备及存储介质在说明书摘要公布了:本发明公开了一种双教师类脑蒸馏持续学习图像分类方法,将视觉语言预训练模型定义为E0,并根据E0对图像数据构建初始视觉原型;将E0作为第一教师模型;由E0构建学生模型并加载预训练模型权重参数;对学生模型进行第m个任务的训练,训练后的学生模型记为Em;对学生模型进行第m+1个任务训练时,Em作为第二教师模型,学生模型从Em加载权重进行训练;使视觉原型在训练过程中随着批次数据进行滑动更新;根据Em计算分类损失Lce和实例原型对齐损失Lcon,根据Em‑1和E0计算实例原型相似度蒸馏损失,将其平均值并作为最终蒸馏损失Ldis;将Lce、Lcon、Ldis进行加权组合得到优化目标;本发明采用双教师蒸馏来同时缓解灾难性遗忘和零样本迁移能力的遗忘。
本发明授权双教师类脑蒸馏持续学习图像分类方法、设备及存储介质在权利要求书中公布了:1.一种双教师类脑蒸馏持续学习图像分类方法,其特征在于,该方法包括如下步骤: 步骤1,编制训练用图像样本集;将图像样本集按照任务类别分割为多个任务图像样本集,每个任务图像样本集分成训练数据集和测试数据集;每个任务的训练数据集包括多个类别图像样本集;每个类别图像样本集包括多张带有标签的图像样本以及对应的标签和类别语义信息; 步骤2,构建视觉语言预训练模型,用于从图像数据中得到初始视觉原型;视觉语言预训练模型包括视觉编码器和文本编码器;视觉编码器用于处理图像数据,将图像编码成向量数据;文本编码器用于处理文本数据,将文本编码成向量数据;利用视觉语言预训练模型对各任务中的训练数据集中所有图像样本提取特征;通过计算同一任务中同一类别图像样本的特征平均值,得到每个类别的初始视觉原型; 步骤3,将视觉语言预训练模型定义为E0;将E0作为第一教师模型;构建学生模型,使学生模型的结构与视觉语言预训练模型相同,并加载视觉语言预训练模型权重参数; 步骤4,对学生模型进行第m个任务的训练,m=1、2、…、T,T为任务个数,训练后的学生模型记为Em;对学生模型进行第m+1个任务训练时,Em作为第二教师模型,学生模型从Em加载权重进行训练;使视觉原型在训练过程中随着批次数据进行滑动更新; 步骤5,根据Em计算分类损失Lce和实例原型对齐损失Lcon,根据Em-1和E0计算实例原型相似度蒸馏损失,将其平均值并作为最终蒸馏损失Ldis;将分类损失Lce、实例原型对齐损失Lcon、最终蒸馏损失Ldis进行加权组合得到优化目标; 步骤6,重复步骤4至步骤5,直至所有训练任务的优化目标均达到设定值,训练结束; 步骤7,采用完成训练的模型对待分类图像进行分类; 步骤5中,计算实例原型对齐损失的方法包括如下方法步骤: 将第m个任务的第c类样本数据输入学生模型,得到第c类样本数据的视觉特征,利用第c类样本数据的视觉特征、文本特征以及滑动更新后的视觉原型,构建跨模态的实例原型对齐损失;实例原型对齐损失的计算公式如下: 式中: Lcon为实例原型对齐损失; c为样本类别序号; m为任务序号; 为的集合; 为对第c类样本的视觉原型进行第t次滑动更新后的视觉原型; Hc为类别c的视觉文本特征矩阵; Hm为学生模型对应第m个任务输出的视觉文本特征矩阵; Pm为第m个任务的原型矩阵; h为中的任一元素; g为中除了h的任一元素; f为Hm∪Pm中除了h的任一元素; τ为温度系数; sim为余弦相似度函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学;上海人工智能创新中心,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励