买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利一种基于动态多阶段知识蒸馏模型训练方法、介质和设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121480619B 。

龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610021429.1，技术领域涉及：G06N3/096；该发明授权一种基于动态多阶段知识蒸馏模型训练方法、介质和设备是由张宇隆;王易文;徐哲壮;饶艳莺设计研发完成，并于2026-01-08向国家知识产权局提交的专利申请。

本一种基于动态多阶段知识蒸馏模型训练方法、介质和设备在说明书摘要公布了：本申请公开了一种基于动态多阶段知识蒸馏模型训练方法、介质和设备，属于模型训练技术领域，该方法包括：构建教师模型与学生模型；提取二者在多个特征提取阶段结束时产生的中间层特征图并进行特征对齐，得到各阶段的教师对齐特征与学生对齐特征；将所有对齐特征输入温度生成网络，生成蒸馏温度超参数；利用蒸馏温度超参数，计算各阶段教师对齐特征与学生对齐特征之间的特征蒸馏损失；将该特征蒸馏损失与学生模型的任务损失加权求和得到总损失函数；最后基于总损失函数更新学生模型的参数。本申请通过引入可训练的温度生成网络，实现了知识蒸馏过程中各阶段迁移强度的动态调节，能够更有效地迁移教师模型的知识，提升学生模型的训练效率。

本发明授权一种基于动态多阶段知识蒸馏模型训练方法、介质和设备在权利要求书中公布了：1.一种基于动态多阶段知识蒸馏模型训练方法，其特征在于，所述方法包括： S1：构建教师模型与学生模型，所述学生模型为待训练的神经网络，所述教师模型为已完成训练且性能优于所述学生模型的神经网络，所述学生模型和教师模型均包含多个顺序连接的特征提取阶段； S2：获取训练样本，将所述训练样本分别输入所述教师模型与所述学生模型，提取所述教师模型在各特征提取阶段结束时产生的第一中间层特征图，以及所述学生模型在对应特征提取阶段结束时产生的第二中间层特征图； S3：从多个所述特征提取阶段中选取至少两个阶段作为待蒸馏阶段，对于每个所述待蒸馏阶段，分别对所述教师模型在该待蒸馏阶段产生的第一中间层特征图以及所述学生模型在该待蒸馏阶段产生的第二中间层特征图进行特征对齐处理，得到该待蒸馏阶段对应的教师对齐特征与学生对齐特征； S4：将所有所述待蒸馏阶段对应的教师对齐特征与学生对齐特征，输入至一个可训练的温度生成网络； S5：所述温度生成网络根据输入的所述教师对齐特征与学生对齐特征，为每个所述待蒸馏阶段动态生成一个对应的蒸馏温度超参数； S6：对于每个所述待蒸馏阶段，利用为该待蒸馏阶段生成的所述蒸馏温度超参数，计算所述教师对齐特征与所述学生对齐特征之间的特征蒸馏损失； S7：将各所述待蒸馏阶段的特征蒸馏损失与所述学生模型的任务损失进行加权求和，得到总损失函数，其中，所述任务损失基于训练样本的真实标签计算得到； S8：基于所述总损失函数，通过梯度下降算法更新所述学生模型的训练参数； 所述温度生成网络为基于全连接层的网络，步骤S5具体包括： 对于第i个待蒸馏阶段，将教师对齐特征ti和学生对齐特征si分别通过一个共享的m×m卷积层将通道数压缩至P，再经全局平均池化与展平处理，得到用于温度生成的特征向量和，其中,m为正整数； 将各待蒸馏阶段对应的特征向量和进行元素级拼接，形成融合向量zfused； 所述温度生成网络将所述融合向量zfused输入一个单层全连接层，再经过Softplus激活函数进行处理，为每个待蒸馏阶段i输出一个非负的蒸馏温度超参数； 步骤S6中，所述特征蒸馏损失为所有待蒸馏阶段的阶段损失的累计和，每个待蒸馏阶段的阶段损失通过将该待蒸馏阶段的教师对齐特征与学生对齐特征之间的均方根误差乘以对应的蒸馏温度超参数得到； 特征蒸馏损失的计算公式如下： ； 其中，表示第i个待蒸馏阶段的教师对齐特征或学生对齐特征所包含的元素总数量，表示第i个待蒸馏阶段教师对齐特征t中的第k个元素，表示第i个待蒸馏阶段学生对齐特征s中的第k个元素，N表示待蒸馏阶段的总数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350100 福建省福州市福州大学城乌龙江北大道2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。