北京理工大学张青龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京理工大学申请的专利一种面向边缘推理的运行时深度神经网络构建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115409178B 。
龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110586606.8,技术领域涉及:G06N3/082;该发明授权一种面向边缘推理的运行时深度神经网络构建方法是由张青龙;王祥炜;韩锐;刘驰设计研发完成,并于2021-05-27向国家知识产权局提交的专利申请。
本一种面向边缘推理的运行时深度神经网络构建方法在说明书摘要公布了:本发明公开了一种面向边缘推理的运行时深度神经网络构建方法。包括以下步骤:步骤1,从原始的DNN中生成由一个或多个DNN层组成的不同稀疏度的块:步骤2,对不同稀疏度的块进行重训练;步骤3,对训练完成的派生块进行多维度性能评估,步骤4,监控运行环境状态,步骤5,根据派生块组合方案对运行环境中的DNN模型进行缩放,替换派生块,本发明的优越效果是:能够快速从原始的DNN中派生出不同稀疏度的块,对各稀疏块进行重训练;能够大大降低内存切换开销,提升模型缩放效率;能够广泛适用于多种DNN模型,能够适应最大化模型准确率、最小化处理延迟、平衡二者的多种优化目标,具有良好的通用性与泛化性。
本发明授权一种面向边缘推理的运行时深度神经网络构建方法在权利要求书中公布了:1.一种面向边缘推理的运行时深度神经网络构建方法,其特征在于,包括以下步骤: 步骤1,从原始的DNN中生成由一个或多个DNN层组成的不同稀疏度的块: 步骤1.1,对于给定的原始DNN模型进行分析,将神经网络中的每一层或多层组成一个块bi,1≤i≤m,直至划分完成整个DNN,得到m个块; 步骤1.2,对bi设置稀疏度,将标准剪枝过滤技术应用于每个块bi,生成ni个派生块每个派生块对应一个稀疏度,神经网络模型中的权重参数表示为矩阵,派生块是由原始深度神经网络模型中的块经过剪枝即压缩的计算后生成的派生物; 步骤1.3,构造每个块bi的训练环境,针对原始DNN中每个块构造训练环境即每个块所需的输入数据及输出数据; 将原始训练样本中的每一个Mini-Batch通过原始DNN的计算,转换为每个块bi所需的输入数据作为用于训练每个块bi的派生块的输入;将每一个Mini-Batch通过原始DNN的计算,转换为每个块bi所需的输出数据作为用于训练每个块bi的派生块的目标输出值,得到每个块所需的输入与输出即训练环境; 步骤2,对不同稀疏度的块进行重训练; 步骤2.1,取出步骤1.3中得到的每个块bi的训练环境,作为对应的派生块的训练环境; 步骤2.2,用每个派生块对其训练环境中的输入数据进行前馈计算,得到派生块的输出; 步骤2.3,用派生块的输出值与对应训练环境中的目标输出值获取此次计算的误差值; 步骤2.4,将误差值反向传播,根据梯度下降算法更新派生块的参数,当达到训练结束条件即达到最大迭代次数或误差值小于预设阈值,则结束派生块的训练,否则返回步骤2.2; 步骤3,对训练完成的派生块进行多维度性能评估,为运行环境中选择合适的派生块做准备; 步骤4,监控运行环境状态,当运行环境状态发生变化时,根据需求重新寻求最优的派生块组合方案; 步骤5,根据步骤4中获取的派生块组合方案对运行环境中的DNN模型进行缩放,替换派生块,构建出新的DNN; 使用ImageNet数据集、ResNet18模型在边缘设备上测试。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京理工大学,其通讯地址为:100081 北京市海淀区中关村南大街5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。