上海交通大学邹桉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海交通大学申请的专利针对多次连续推理的神经网络动态退出轻量化方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116227558B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310306228.2,技术领域涉及:G06N3/0464;该发明授权针对多次连续推理的神经网络动态退出轻量化方法和系统是由邹桉;马叶涵;沈颖涛设计研发完成,并于2023-03-24向国家知识产权局提交的专利申请。
本针对多次连续推理的神经网络动态退出轻量化方法和系统在说明书摘要公布了:本发明提供了一种针对多次连续推理的神经网络动态退出轻量化方法和系统,包括:步骤1:构建基于神经网络的推理模型,对于预设小时间范围内的每个推理,预测网络退出的位置,并相应地预测计算配置,所述计算配置包括频率和电压;对于预设大时间范围内的多个推理,通过剩余推理工作量和时间约束,进行处理器频率和电压校准;步骤2:根据预测和校准计算配置以执行神经网络,从而实现动态电压和频率调节。与经典深度学习网络相比,本发明可实现高达63.8%的节能,同时保证多次神经网络推理在规定的时间内完成,通过早期退出可以提前终止推断并获得准确的结果,减少了计算和能源成本。
本发明授权针对多次连续推理的神经网络动态退出轻量化方法和系统在权利要求书中公布了:1.一种针对多次连续推理的神经网络动态退出轻量化方法,其特征在于,包括: 步骤1:构建基于神经网络的推理模型,对于预设小时间范围内的每个推理,预测网络退出的位置,并相应地预测计算配置,所述计算配置包括频率和电压;对于预设大时间范围内的多个推理,通过剩余推理工作量和时间约束,进行处理器频率和电压校准; 步骤2:根据预测和校准计算配置以执行神经网络,从而实现动态电压和频率调节; 在推理任务中,现有层包含BoF池化层和FC层,设为现有层第i层的中间结果,为数据集中对象类的数量,BoF池化层作为从中提取的特征聚合,在BoF池化中,使用一组称为码本的特征向量来描述,每个码本的权重是通过测量码本和之间的相似度来生成的,码本权重的大小大于,因此FC层进一步作为分类器,将BoF池化的结果调整为,从而估计出现有层的最终输出,分类器的估计结果为: 其中,为第i层的中间结果;x为初始网络输入;为第i个退出层的参数,退出层即为BoF池化层和FC层;是分类器的估计结果; 对现有层中的参数进行离线训练,在训练时选择相同的交叉熵损失函数; 其中,pi和qi分别是每个对象的实际和预测的类分布;为交叉熵; 在训练现有层时,将训练集数据{x1,x2,…,xN}输入模型,N为训练数据个数,通过批量梯度下降对现有层参数进行优化,设为网络的层数,目标向量集为{r1,r2,…,rN}∈为正确结果;首先,在没有任何现有层的情况下,用以下公式训练模型: 其中,W'为更新后的整体网络参数;η为学习率,如果精度不能满足要求,则调整η;j表示向量位置;表示参数梯度;表示训练数据向量元素;表示目标数据向量元素; 对原模型W进行固定,在现有层的基础上,再次训练模型,优化BoF池化层和FC层的参数,表达式为: 训练完退出层后,计算平均特征权重作为退出决策的参数,表达式为: 其中,k表示第k个全体分类目标; 在初始网络输入的推断过程中,在每个早期退出层,权重比为最大特征权重除以乘以用户指定的超参数β,最大特征权值越大,认为分类越有信心,若大于1,则推论终止,在这个早期退出层的结果被应用为最终结果,表达式为: ; 设预测器从神经网络的第层开始预测,预测器输入为第层神经网络的执行结果向量及其对应的退出层执行结果向量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海交通大学,其通讯地址为:200240 上海市闵行区东川路800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励