买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于动态多教师模型和结构化关系的知识蒸馏方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119067194B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411094316.1，技术领域涉及：G06N3/096；该发明授权一种基于动态多教师模型和结构化关系的知识蒸馏方法是由许毅;赵太银;罗光春;杨涵杰;王语甜;赵俊成设计研发完成，并于2024-08-09向国家知识产权局提交的专利申请。

本一种基于动态多教师模型和结构化关系的知识蒸馏方法在说明书摘要公布了：一种基于动态多教师模型和结构化关系的知识蒸馏方法，主要内容为一种新型的知识蒸馏方法，通过多个教师模型训练学生模型，并根据教师模型的性能效果为教师模型分配动态的权重来指导学生模型的训练；同时引入结构化关系来辅助训练，通过让学生模型学习教师模型样本输出的空间关系，来提高训练效果。本发明相对于传统的多教师模型，解决了训练学习单一性，盲目性，平均性的特点，根据教师模型优劣进行动态调整学习权重，具有更好的训练效果；同时引入了样本空间关系作为知识进行学习，解决了传统知识蒸馏方法仅依赖响应学习知识的单调性，使学生模型学习到更丰富的知识，提高了学生模型性能。

本发明授权一种基于动态多教师模型和结构化关系的知识蒸馏方法在权利要求书中公布了：1.一种基于动态多教师模型和结构化关系的知识蒸馏方法，其特征在于，包括以下步骤： 步骤1：获取图像数据集，数据集中有N个样本，每个样本表示为：，其中表示为样本，由多维张量构成，表示为，其中表示多维张量，h，w表示维数，c表示图像通道数；表示样本标签，标注样本的结果；然后将数据集按比例随机划分训练集和测试集； 步骤2：数据预处理，对数据集中的样本进行预处理，同时不改变样本的标签； 步骤3：利用数据集对K个不同的教师模型进行训练和测试，获得当前任务下满足性能要求的教师模型，以及对教师模型进行性能测试来获取教师模型性能参数； 步骤4：设计学生网络，训练学生模型； 步骤5：多教师权重计算阶段；首先，每次迭代需要将训练集输入到多个教师网络中，得出教师网络的结果；其次，需要对教师模型的输出进行评价，评价方式为计算教师输出和样本标签结果之间的相似性，使用余弦相似性来计算，得到教师模型权重； 步骤6：根据计算得到的权重，指导多教师模型对学生模型进行知识蒸馏，通过KL散度来生成学生模型和教师模型之间的损失，再用权重来加权相加，得到最终的基于响应的动态多教师损失： ； 其中，表示教师模型权重，表示学生模型输出，表示教师模型输出； 步骤7：结构化关系计算阶段；计算结构化关系基于位置距离结构关系以及角度结构关系；首先计算距离结构化关系采用曼哈顿距离，在一个样本集内，分别两两计算模型输出最后一层特征的曼哈顿距离，并累加求和： ； 其中，表示样本间的曼哈顿距离，表示n号样本的第i维向量值，表示m号样本的第i维向量值； 然后计算基于角度的结构化关系，采用模型最后一层的输出，在一个样本集内两两使用归一化的向量差之间的内积，计算方式如下： ； ； 其中，表示角度特征值，t表示样本，每次采用三个样本进行计算，表示向量和向量的向量差，同理；向量采用2范式向量； 步骤8：训练优化；采用多教师动态权重损失，结构化损失和模型输出的硬标签损失来进行优化，总损失采用如下计算方式： ； 其中表示总的损失，表示结构化关系计算的结构化损失，，是超参数，表示模型输出和真实标签之间的损失，计算如下： ； 步骤9：模型的反向推理；根据损失来进行反向梯度计算； 步骤10：反复迭代上述过程，直到达到最终迭代次数； 步骤11：模型分类结果的生成；使用训练集完成上述训练后，使用验证集进行学生模型输出，输出结果与与真实标签进行比较。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。