华南理工大学;华南农业大学吴永贤获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南理工大学;华南农业大学申请的专利一种基于掩码特征重建的图像分类自蒸馏方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119516256B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411509886.2,技术领域涉及:G06V10/764;该发明授权一种基于掩码特征重建的图像分类自蒸馏方法是由吴永贤;赵磊;张建军设计研发完成,并于2024-10-28向国家知识产权局提交的专利申请。
本一种基于掩码特征重建的图像分类自蒸馏方法在说明书摘要公布了:本发明公开了一种基于掩码特征重建的图像分类自蒸馏方法,包括:对输入图像预处理后划分训练集和验证集,并增强训练集;将预处理后的图像输入残差神经网络,获取残差块浅、深层阶段输出的特征及残差神经网络的预测输出,使用卷积对特征进行下采样;将下采样后的特征与随机掩码进行元素点积来获得掩码特征;采用基于卷积的生成器和基于感知机的生成器对掩码特征重建,并获得重建特征的预测输出;将分类损失和重建损失结合构建自蒸馏损失函数;将增强后训练集中的图像输入残差神经网络,按照自蒸馏损失函数进行反向传播训练,并用验证集验证,保存最佳网络权重和每一个训练轮次的网络权重。本发明实现了网络性能的提升,并保持了较高的训练效率。
本发明授权一种基于掩码特征重建的图像分类自蒸馏方法在权利要求书中公布了:1.一种基于掩码特征重建的图像分类自蒸馏方法,其特征在于,包括以下步骤: 步骤S1:对输入图像进行基于图像混合的数据预处理后按照比例划分训练集和验证集,并对训练集使用裁剪和旋转两种方式进行数据增强; 步骤S2:将预处理好的图像输入残差神经网络中,所述残差神经网络包含4个残差块,依次分为残差块1、残差块2、残差块3和残差块4,其中残差块1、残差块2和残差块3由于残差结构层数少被视为浅层阶段,残差块4由于残差结构层数多被视为深层阶段,通过前向传播获取残差块2和残差块4输出的特征以及残差神经网络的预测输出,并使用步长为4的卷积对残差块2输出的特征进行下采样; 步骤S3:设计随机掩码,并将对下采样后的特征与随机掩码进行元素点积来获得掩码特征; 步骤S4:采用基于卷积的生成器和基于感知机的生成器来对掩码特征进行重建,并使用平均池化操作、线性分类器和多分类函数softmax来获得重建特征的预测输出; 步骤S5:利用交叉熵函数来计算残差神经网络的预测输出和真实标签之间的差异,称为分类损失,以及利用KL散度衡量当前训练轮次的残差神经网络的预测输出和上一个训练轮次的残差神经网络历史模型的预测输出之间的差异,称为重建损失,通过将分类损失和重建损失结合构建自蒸馏损失函数,包括以下步骤: S51:计算分类损失Lce,利用交叉熵函数来计算残差神经网络的预测输出和真实标签之间的差异,其计算方式如下: 式中,K表示训练集中的类别数,表示第k个类别对应的真实标签ym,pk表示残差神经网络的第k个类别的概率预测; S52:计算基于当前训练轮次的残差神经网络预测输出的重建损失Lrec1,利用KL散度衡量重建特征的预测输出和残差神经网络的预测输出之间的差异,其计算过程如下: 式中,pk′表示重建特征经过平均池化操作、线性分类器和多分类函数softmax获得的第k个类别对应的概率预测; S53:计算基于上一个训练轮次的残差神经网络历史模型的重建损失Lrec2,每一个轮次训练完后对模型进行保存,在计算基于历史模型的重建时则加载上一个轮次的模型,并用来分别预测混合前的图像x1和x2来获得对应的概率预测和利用KL散度衡量重建特征的预测输出与之间的差异,其计算过程如下: S54:所构建的自蒸馏损失函数同时包含分类损失和两个重建损失: Ltotal=Lce+αLrec1+Lrec2 式中,Ltotal表示自蒸馏损失函数,α是用于平衡分类损失和重建损失之间的超参数; 步骤S6:将增强后的训练集中的图像输入残差神经网络中,按照所构建的自蒸馏损失函数进行反向传播训练,并采用验证集对网络的训练效果进行验证,直至残差神经网络收敛,并保存最佳网络权重和每一个训练轮次的网络权重。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南理工大学;华南农业大学,其通讯地址为:510640 广东省广州市天河区五山路381号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励