买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116503609B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310199862.0，技术领域涉及：G06V10/40；该发明授权一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法是由刘波;许紫宣;袁彤彤设计研发完成，并于2023-03-06向国家知识产权局提交的专利申请。

本一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法在说明书摘要公布了：本发明涉及一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法，基于深度Bregman散度的方法普遍用于横向衡量教师和学生模型的相似度，现将其扩展应用到教师或者学生网络在不同分布下的一种度量，学生和教师网络共享不同分布的参数，深入挖掘教师网络对图像分类的知识敏感度，从而实现纵向的学习。该方法首先设计一种普适的特征迁移的知识蒸馏策略，然后连接一个Bregman损失模块：在不同的深度Bregman网络中，分别提取教师和学生在不同分布下的Bregman散度矩阵，计算二者之间差异，通过反向传播，利用蒸馏损失与Bregman损失对学生网络的参数进行优化，进而提高学生网络模型的分类准确度。

本发明授权一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法在权利要求书中公布了：1.一种基于深度Bregman散度的知识蒸馏的图像分类模型压缩方法，其特征在于，包括： 步骤1，用已分好训练集与测试集的数据集对教师网络模型进行训练，设置参数：加载数据集并初始化模型； 步骤2，训练完后保存教师模型的各层权重参数； 步骤3，训练学生网络：加载数据集，加载教师、学生模型Resnet各层的参数，并提取教师和学生网络模型的三处对齐中间层的特征图，作为深度Bregman网络的输入； 步骤4，记录最终教师与学生网络模型的logit输出y_t与y_s，使用“让学生模型的输出y_s逼近教师模型的输出y_t”方法以此来设置损失函数，从而达到“学生网络模型的各参数接近教师网络模型的各层参数”，进而实现“学生网络模型的分类准确率可以媲美教师网络模型的性能”，为此设置蒸馏损失L_Breg； 步骤4的最终教师与学生网络模型的logit输出y_t与y_s具体描述如下： 对连续经过三组block模块后的输出进行bn操作、relu激活、平均池化，最后连接一个全连接层，得到最终教师与学生网络模型的输出y_t与y_s； 其中，步骤4的蒸馏损失L_kd具体描述如下： 蒸馏损失函数中涉及两种label：softlabel对应了教师模型输出的概率分布，即教师模型输出层经过T温度蒸馏后被softmax激活的结果，也就是下面的qt，而hardlabel是原来的one-hotlabel，也就是L_kd公式中的labels，即图像分类的真实标签，具体的蒸馏损失函数如下，其中，α为系数，设置为0.9，ce为交叉熵损失函数，y_s表示学生网络输出层的特征图，qS为学生模型输出层经过T温度蒸馏后被softmax激活的结果，如下： L_kd＝1-α*cey_s,labels+α*l_klqs,qt 上式中，T表示蒸馏温度，设置为4；l_kl公式与kl散度公式关系如下： 其中N是数据的数量； 步骤5，将教师和学生网络模型的中间层的特征图分别输入深度Bregman网络里的两个子网络Z1和Z2，从而获得教师与学生网络模型在不同分布下的深度Bregman散度，分别合成Bregman散度矩阵与i代表对齐的次序； 步骤6，计算教师Bregman散度矩阵与对应的学生Bregman散度矩阵的损失值，对多个损失求和，计算教师Bregman散度矩阵与对应的学生Bregman散度矩阵的损失值L_breg； 步骤7，最后让Bregman损失乘以权重系数与蒸馏损失加和作为最终损失，然后反向传播对学生网络进行网络参数优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。