北京控制与电子技术研究所姜丰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京控制与电子技术研究所申请的专利一种基于最小熵的高精度大比例结构化网络压缩方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119862918B 。
龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510347970.7,技术领域涉及:G06N3/0495;该发明授权一种基于最小熵的高精度大比例结构化网络压缩方法是由姜丰;吕金虎;倪亮;张宝昌;赵昌迪;刘畅;陈鑫;田野设计研发完成,并于2025-03-24向国家知识产权局提交的专利申请。
本一种基于最小熵的高精度大比例结构化网络压缩方法在说明书摘要公布了:本说明书公开了一种基于最小熵的高精度大比例结构化网络压缩方法,属于深度模型压缩技术领域,包括搭建最小熵剪枝框架;所述最小熵剪枝框架的基网络与被剪枝网络并联,且基网络和被剪枝网络的输出分别输入MSE损失函数模块和判别器;基于最小熵剪枝框架,构建优化目标函数;对优化目标函数进行迭代优化,获得被剪枝网络的软掩码;基于软掩码和模型结构的剪枝选择进行模型剪枝,获得剪枝后的模型,以解决目前结构化剪枝方法存在效率低、灵活性差以及使用场景单一化的问题。
本发明授权一种基于最小熵的高精度大比例结构化网络压缩方法在权利要求书中公布了:1.一种基于最小熵的高精度大比例结构化网络压缩方法,其特征在于,包括: 搭建最小熵剪枝框架;所述最小熵剪枝框架的基网络与被剪枝网络并联,且基网络和被剪枝网络的输出分别输入MSE损失函数模块和判别器,所述基网络和被剪枝网络的输入为图像; 基于最小熵剪枝框架,构建优化目标函数; 所述基于最小熵剪枝框架,构建优化目标函数包括: 采用最小熵的对抗损失函数表征判别器与被剪枝网络的对抗,获得判别器与被剪枝网络的对抗目标函数; 采用MSE损失函数表征被剪枝网络的输出相对于基网络的输出的损失值,获得被剪枝网络与基网络间的输出损失函数; 基于被剪枝网络和判别器的权重参数,获得被剪枝网络参数和判别器参数的正则约束项;对优化目标函数进行迭代优化,获得被剪枝网络的软掩码; 所述对优化目标函数进行迭代优化,获得被剪枝网络的软掩码包括: 基于训练图像样本数据集,获得基网络样本特征和被剪枝网络样本特征; 基于基网络样本特征、被剪枝网络样本特征和优化目标函数,获得第一损失函数和第二损失函数; 固定被剪枝网络的参数,采用第一损失函数对判别器的参数进行优化,获得更新后的判别器的权重; 固定判别器的权重,采用第二损失函数对被剪枝网络的参数进行优化,获得更新后的被剪枝网络的参数;所述被剪枝网络的参数包括被剪枝网络的权重和软掩码; 基于软掩码和模型结构的剪枝选择进行模型剪枝,获得剪枝后的模型; 所述基于软掩码和模型结构的剪枝选择进行模型剪枝,获得剪枝后的模型包括: 若模型结构的剪枝选择为通道选择,则在模型的每层输入通道中加入软掩码的缩放因子,并在模型优化后从模型中移除缩放因子为0的输入通道和对应的输出通道; 若模型结构的剪枝选择为块选择,则在模型的每一个残差块中加入软掩码的缩放因子,并在模型优化后从模型中移除缩放因子为0的残差块,获得剪枝后的模型; 若模型结构的剪枝选择为分支选择,则在模型每一个分支中加入软掩码的缩放因子,并在模型优化后从模型中移除缩放因子为0的分支,获得剪枝后的模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京控制与电子技术研究所,其通讯地址为:100038 北京市西城区木樨地北里甲51号100038;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。