浙江科技学院钱亚冠获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江科技学院申请的专利基于感受野准则的过滤器修剪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114626522B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210274586.5,技术领域涉及:G06N3/082;该发明授权基于感受野准则的过滤器修剪方法是由钱亚冠;康明;陶祥兴;楼琼;郭羽含;朱凯;何志强设计研发完成,并于2022-03-21向国家知识产权局提交的专利申请。
本基于感受野准则的过滤器修剪方法在说明书摘要公布了:本发明公开了基于感受野准则的过滤器修剪方法,包括以下步骤:S1:构建感受野准则RFC模型,感受野准则是去衡量一个卷积核的重要性程度;S2:通过全局自适应滤波器搜索GAFS对模型进行全局阈值剪枝;本发明将感受野中的最大激活和信息熵结合变成卷积核度量准则然后运用到剪枝、本发明通过实验每一层来找出最冗余的层,通过只剪枝一层来避免同时剪枝多层卷积核,避免将不同语义层的卷积核一起考虑剪枝。
本发明授权基于感受野准则的过滤器修剪方法在权利要求书中公布了:1.基于感受野准则的过滤器修剪方法,其特征在于,包括以下步骤: S1:构建感受野准则RFC,感受野准则是去衡量一个卷积核的重要性程度; S2:通过全局自适应卷积核搜索GAFS对模型进行全局剪枝; 所述S1包括以下子步骤: S11:设输入图像的数量N∈R和类的数量V∈R,Mi,j∈Rhi×wj是在激活函数之后由第i层中的第j卷积核从第k图像生成的通道,是一个由通道标签对组成的集合,其中Mi,jk是通道,vk∈{1,2,...,V}是相应的类别标签; S12:将L2范数应用于每个通道,并获得响应分数集以表示第j个卷积核对所有图像的激活响应, 其中,m是对应通道的元素; 选择具有最高a%激活响应的通道和输入图像的相应标签: 其中sort·a%是由前a%元素组成的集合;由获得了标签集Vi,j={vk}; S13:{vk}用于生成相应卷积核的最大响应概率分布,设|Vi,j|为集合Vi,j中的元素数,表示属于类别n的元素的数量,将这些标签的频率转换为概率,最大响应概率设置: 当才会让概率p进入下一步计算,利用这些概率,进一步得到了信息熵; S14:卷积核对于全部类别响应,越均匀则越冗余,而信息熵去衡量均匀性,使用最大响应概率去计算信息熵,Hi,j设为第i层中第j个卷积核的信息熵: 这里,分数函数T由H确定,去确定不同卷积核的重要性,并且分数函数构成集合Ti={Hi,j|j=1,2,...,Oi}表示第i层中的所有卷积核的信息熵,其中Oi是第i层中的卷积核的数目,选择具有底部b%值的Hi,j卷积核来构造卷积核集: 其中,Hi,j是第i层中的第j个卷积核的信息熵,使用上式中的卷积核重建网络; 所述S2包括以下子步骤: S21:通过卷积核准则获得所有卷积核的分数集; S22:通过临时移除层内分数的最低的λ对应的卷积核,来记录精度变化 Δacc和网络输出向量变化Δcos,即度量网络输出向量变化使用余弦相似性,其中g为原网络输出向量,gi为剪枝第i层网络输出向量,然后计算精度变化Δacc和网络输出向量变化Δcos得到该层的冗余度Ri=Δacc+3Δcos,1:3的比例为实验得出; S23:当该层记录完后,将该层恢复到移除之前的状态; S24:这种“删除-记录-恢复”操作逐层重复,Ri变化越小,层的冗余度就越大,挑选出最冗余的层第I层,公式为W为总卷积层数,这一次剪枝仅仅在第I层中进行,为了保持前后一致,在第I层中剪掉λ=12的卷积核,每一次只剪一层的操作不会引起在不同层同时剪枝的语义问题; S25:如果λ一直固定不变,则会造成过度剪枝,即当对64卷积核进行剪枝时候,如果λ一直为12则只能剪枝一半,变成卷积核为32个,但是最优结构在32-64之间,这样会导致过度剪枝,引入一个参数ε去控制λ什么时候变小,控制公式如下: 当RI<ε时候,意味着剪枝最冗余层I并不会造成过度剪枝,继续保持粒度λ不变;当RI≥ε时候,意味着剪枝最冗余层I都会造成过度剪枝,应该减半λ以减少剪枝粒度,并且在这一步中不执行剪枝操作;以减半后的λ重新开始步骤S21-S25完成剪枝。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江科技学院,其通讯地址为:310023 浙江省杭州市留和路318号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。