买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种用于边缘设备的神经网络动态早退加速推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116776982B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310808099.7，技术领域涉及：G06N5/04；该发明授权一种用于边缘设备的神经网络动态早退加速推理方法是由郝家炜;徐冠宇;郝志伟;安旭溟;胡晗设计研发完成，并于2023-07-03向国家知识产权局提交的专利申请。

本一种用于边缘设备的神经网络动态早退加速推理方法在说明书摘要公布了：本发明公开的一种用于边缘设备的神经网络动态早退加速推理方法，属于边缘计算领域。使用异构退出头结构，提高模型的特征提取能力，实现更高的模型精度、更快的推理速度和更低的模型运算复杂度；使用两阶段训练策略训练基于异构退出头的动态早退模型，更充分地发挥退出头的潜能，进一步提高模型精度，降低模型运算复杂度；使用动态推理方法，动态执行部分网络，节省计算资源；同时根据输入数据的复杂性动态选择模型输出路径，以适应不同场景，实现精度‑效率之间的权衡。本发明适用于边缘计算领域，提高模型精度，加快推理速度并且降低模型运算复杂度，为基于复杂模型的智能应用在边缘设备的部署提供支撑。

本发明授权一种用于边缘设备的神经网络动态早退加速推理方法在权利要求书中公布了：1.一种用于边缘设备的神经网络动态早退加速推理方法，其特征在于：包括如下步骤，步骤一、构建基于卷积的局部感知头和基于自注意力机制的全局聚合头两种异构退出头； 步骤二、在骨干网络上建立基于异构退出头的动态早退模型； 步骤三、使用两阶段训练策略，训练基于异构退出头的动态早退模型； 步骤三的实现方法为，第一阶段，利用交替加权训练方法，迅速提高模型性能； 主干网络有L层，其中有M个退出头和1个最终分类器，由浅至深，第i个分类器的退出点为mi，其中m≤L,i≤M+1，最终分类器的退出点mM+1＝L；交替加权方法在奇数和偶数次的训练迭代次数之间交替使用两个目标函数： 其中，θ表示骨干网络的模型参数，wi表示第i个退出头的模型参数；在图像分类任务中，损失函数选用交叉熵函数； 第二阶段，自蒸馏训练方法，冻结主干网络和最终分类器的参数，只更新退出头的参数，在保证模型精度不下降的同时，进一步提升模型效率；整体损失函数包括异构蒸馏损失、同构蒸馏损失以及预测损失函数； 异构蒸馏损失函数用于促进异构退出头之间的学习，为了降低多个损失之间的冲突，同时随着网络加深模型性能通常更好，因此仅使用最后一层的特征作为局部感知头和全局聚合头的第一个和最后一个退出头的参考特征；由于退出头的输出和最终层的输出的维度不同，采用对齐模块来匹配维度；该模块包括深度卷积、GELU和BN激活函数；最后一层的特征映射的维度首先被重构为重构的特征映射通过对应模块降低维度，然后恢复到原始的尺寸N′×D；异构蒸馏损失函数表示为： 其中，是Kullback‑Leibler散度函数，Align·表示对齐模块； 同构蒸馏损失函数用于进一步提高具有相似结构退出头之间的性能；在每种类型的退出头中，将最后的退出头作为教师模型，帮助前面的同构退出头学习，即在所有的局部感知头中，最后一个局部感知头的特征被用作前面局部感知头的参考特征；给定从第一个到第m个退出头的特征映射局部感知头之间的同构蒸馏损失函数表示为： 其中，是均方误差函数；由于全局聚合头的特征映射具有不同的形状，对特征映射进行点积操作以匹配维度；给定第m个退出点的全局聚合头特征映射通过计算将其形状转换为D×D；全局聚合头之间的同构蒸馏的损失函数表示为： 同构蒸馏的总损失函数表示为： 预测蒸馏损失函数能够进一步确保模型性能不降低；将最终分类器作为最后一个局部感知头和全局聚合头所在的M2和M退出点的参考标签；一个输入样本的标签样本为y，M2和M退出点的预测概率值分别为和预测蒸馏的损失函数表示为： 其中，是普通知识蒸馏的损失函数，表示最终分类器的预测概率值： 其中，是交叉熵函数，和分别表示知识蒸馏中学生分类器和教师分类器的预测概率值；T是一个温度值，用于控制归一化前的输出的平滑度；γ是一个超参数，用于调节两项损失函数； 第二阶段自蒸馏训练的总损失函数为： 其中，α和β是超参数，用于调节不同的损失函数； 步骤四、将训练的模型部署到边缘设备上进行动态推理，提高推理速度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。