Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 合肥工业大学孔慧芳获国家专利权

合肥工业大学孔慧芳获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉合肥工业大学申请的专利一种基于BGNet立体匹配网络的模型剪枝方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116597256B

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310630228.8,技术领域涉及:G06V10/774;该发明授权一种基于BGNet立体匹配网络的模型剪枝方法是由孔慧芳;张凯设计研发完成,并于2023-05-30向国家知识产权局提交的专利申请。

一种基于BGNet立体匹配网络的模型剪枝方法在说明书摘要公布了:本发明涉及一种基于BGNet立体匹配网络的模型剪枝方法,属于计算机视觉领域。该方法包括搭建BGNet立体匹配网络模型、并进行预训练得到待剪枝模型,确定需要参与剪枝的卷积层,估计待剪卷积层中特征图的平均秩,为每一个待剪卷积层设置自适应的剪枝率,即各卷积层的剪枝阈值不同,对剪枝后的模型微调恢复精度,最后将精度最高的模型在真实数据集上泛化,得到最终的BGNet立体匹配网络模型。本发明通过剪枝的方式对BGNet立体匹配网络压缩,得到了一个轻量化的BGNet立体匹配网络,并且从速度、精度、参数量的综合角度来看,剪枝后的BGNet立体匹配网络的性能要优于剪枝前的BGNet立体匹配网络。

本发明授权一种基于BGNet立体匹配网络的模型剪枝方法在权利要求书中公布了:1.一种基于BGNet立体匹配网络的模型剪枝方法,其特征在于,包括以下步骤: 步骤1,在公开数据库中下载一个合成数据集,所述合成数据集包括一个合成训练集和一个合成测试集,所述合成训练集中包括Q1组训练样本,所述合成测试集中包括Q2组测试样本,且在每一组训练样本和每一组测试样本中均包含一张左图图像、一张右图图像、一张真实视差图像; 对合成训练集中的每一张左图像和右图像采用ψ种数据增强方法进行图像增强,并保留每种数据增强方法得到的图像,即共得到Q1×ψ+1对图像,将该Q1×ψ+1对图像组成一个增强合成训练集; 在公开数据库中下载一个真实数据集,所述真实数据集包括一个真实训练集和一个真实测试集,所述真实训练集中包括Q3组训练样本,且在每一组训练样本均包含一幅左图图像、一幅右图图像和一幅真实视差图像,所述真实测试集中包括Q4对测试样本,且在每一对测试样本均包含一幅左图图像和一幅右图图像; 步骤2,搭建一个BGNet立体匹配网络模型,并记为模型A,所述模型A中含有卷积层的模块包括特征提取模块、引导滤波模块和代价聚合模块; 所述特征提取模块包括沿网络A输入-输出方向依次串联的以下结构:第一卷积结构单元、残差结构单元、第二卷积结构单元、第一反卷积结构单元、第三卷积结构单元和第二反卷积结构单元;所述残差结构单元包括沿网络A输入-输出方向依次串联的四个残差结构,其中,第三个残差结构的输出为特征图F1,第四个残差结构的输出为特征图F2;所述第二卷积结构单元包括沿网络A输入-输出方向依次串联的4个二维卷积层,其中,第一个二维卷积层的输出为特征图F3;所述第一反卷积结构单元和第二反卷积结构单元均包括沿网络A输入-输出方向依次串联的3个反卷积模块,其最终输出分别为特征图F4和特征图F5; 所述引导滤波模块包括沿网络A输入-输出方向依次串联的两个二维卷积层;所述代价聚合模块包括沿网络A输入-输出方向依次串联的第一三维卷积结构单元、第一三维反卷积结构单元和三维卷积层; 步骤3,训练模型A得到一个最优预训BGNet立体匹配网络模型,该模型即为待剪枝的BGNet立体匹配网络模型,并记为模型B; 设迭代次数为G,将增强合成训练集中的图像分G次送入模型A中进行迭代训练,得到G个训练完成的BGNet立体匹配网络模型,并记为预训BGNet立体匹配网络模型,将该G个预训BGNet立体匹配网络模型组成一个预训模型集合M1,M1=[M11,M12,...,M1β,...,M1G],其中M1β为第β次训练完成得到的预训BGNet立体匹配网络模型,β=1,2,...,G; 将G个预训BGNet立体匹配网络模型分别对合成测试集计算预训端点误差,得到G个预训端点误差,将该G个预训端点误差组成一个预训端点误差集合O1,O1=[EPE11,EPE12,...,EPE1β,...,EPE1G],其中,EPE1β为第β次训练完成得到的预训BGNet立体匹配网络模型M1β对应的预训端点误差; 在预训端点误差集合O1中取最小值记为最优预训端点误差EPE1min,与最优端点误差EPE1min对应的预训BGNet立体匹配网络模型即为最优预训BGNet立体匹配网络模型; 步骤4,设定不参与剪枝的卷积层,并对步骤3中得到的模型B求卷积层中特征图的秩,其实现过程如下: 步骤4.1,设定以下三种卷积层不参与剪枝: 特征提取模块中生成的特征图F1、特征图F2、特征图F3、特征图F4和特征图F5的卷积层不参与剪枝; 引导滤波模块中的所有卷积层不参与剪枝; 代价聚合模块中的最后一个卷积层不参与剪枝; 除以上3种卷积层外,模型B中的所有卷积层都参与剪枝,并将参与剪枝的卷积层记为参剪卷积层; 步骤4.2,从步骤1的合成训练集中随机挑选N组训练样本,将该N组训练样本的集合记为样本集合P,P=[P1,P2,...,PE,...,PN],PE为样本集合P中的任意一组样本,E=1,2,...,N; 将N组训练样本输入到模型B中,模型B中的每一个参剪卷积层生成N组特征图,将该N组特征图记为特征图集合T,T=[T1,T2,...TE...,TN],TE为特征图集合T中的任意一组特征图; 步骤4.3,当参剪卷积层为二维卷积层与二维反卷积层时,特征图TE的分辨率记为Res1,Res1=X×H×W,其中,X为特征图TE中的通道数,H是特征图TE的高度维度,W是特征图TE的宽度维度,此时,特征图TE中的每一个通道的数学表达式为一个二维矩阵Y; 当参剪卷积层为三维卷积层与三维反卷积层时,特征图TE的分辨率记为Res2,Res2=X×Z×H×W,Z是特征图TE的视差维度,此时,特征图TE中的每一个通道的数学表达式为一个三维矩阵;将通道中的高度维度H和宽度维度W融合成为一个维度,即将三维矩阵变换成为二维矩阵Y; 将特征图TE中的任意一个通道记为第J个通道,将该第J个通道的秩记为第J个通道的秩的计算式如下: 其中,matrix_rank为深度学习库中求解二维矩阵Y的秩的库函数; 将特征图TE中X个通道的秩记为秩集合RE, 步骤4.4,重复步骤4.3,得到特征图集合T中N组特征图的秩集合,对N组特征图中的第J个通道的秩求平均值,并记为第J个通道的通道平均秩rJ,计算式如下: 对N组特征图的每一个通道求通道平均秩,得到X个通道平均秩,并写成一个参剪卷积层通道平均秩队列[r1,r2,...,rJ,...,rX]; 步骤5,剪枝,实现过程如下: 步骤5.1,剪枝阈值的确认 将参剪卷积层通道平均秩队列[r1,r2,...,rJ,...,rX]中的通道平均秩按照从小到大的顺序重新排列得到重排参剪卷积层平均秩队列[r’1,r’2,...,r’i,r’I,...,r’x],其中,r′i为重排参剪卷积层平均秩队列R′中任意一个通道的通道平均秩,i为重排通道平均值序号,i=1,2,...,X,r′I为待确认剪枝阈值,I=i+1,待确认剪枝阈值r′I的限定式如下: 式中,α为缩放系数; 将I从2开始代入到上述限定式中:如果待确认剪枝阈值r′I满足限定式,则待确认剪枝阈值r′I被确认为剪枝阈值;如果待确认剪枝阈值r′I不满足限定式,将I逐步增大直到待确认剪枝阈值r′I满足上式为止; 步骤5.2当参剪卷积层不处于残差模块中时,将重排通道平均值队列[r’1,r’2,...,r’i,r’I,...,r’x]中[r’1,r’2,...,r’i]段对应的通道中的卷积核剪去; 步骤5.3,当参剪卷积层处于残差模块中时,增加一个限定条件:剪枝前后残差模块中卷积层的通道数目均相同; 记现有残差模块为残差模块的前一卷积层为conv1,conv1剪枝前的通道数目为C1、剪枝后的通道数目为C1’,残差模块6的后一卷积层为conv2,conv2剪枝前的通道数目为C2、剪枝后的通道数目为C2’,其中,C1=C2; 按照下述规则剪枝: 当C1’=C2’时,将重排通道平均值队列[r’1,r’2,...,r’i,r’I,...,r’x]中[r’1,r’2,...,r’i]段对应的通道中的卷积核剪去; 当C1’≠C2’时,首先按照步骤5.1的方式分别求出conv1生成的特征图的所有通道的剪枝阈值,并记为前一卷积层剪枝阈值rs,用mask1来标记conv1生成特征图中需要裁剪通道对应的卷积核的位置,mask1是一个1×C1的向量,其中,将秩小于rs的通道对应卷积核的位置用1表示,即当前位置卷积核裁剪,其余通道对应卷积核的位置用0表示,即当前位置卷积核不裁剪; 按照步骤5.1求得conv2生成的特征图的所有通道剪枝时秩的阈值,并记为后一卷积层剪枝阈值rt,用mask2来标记conv2生成特征图中需要裁剪通道对应的卷积核的位置,mask2是一个1×C2的向量,其中,将秩小于rt的通道对应卷积核的位置用1表示,即当前位置卷积核裁剪,其余通道对应卷积核的位置用0表示,即当前位置卷积核不裁剪; 将mask1与mask2取并集得到向量mask,并用mask同时标记conv1和conv2中卷积核裁剪的位置,对标记裁剪位置的卷积核进行剪枝; 按照步骤5的方法对模型B剪枝以后,得到剪枝后的最优BGNet立体匹配网络模型,并记为模型C; 步骤6,将模型C在步骤1的增强合成训练集上微调训练以恢复到模型B的精度,得到一个剪枝且微调后的最优BGNet立体匹配网络模型,并记为模型D; 步骤7,将步骤6得到的模型D在步骤1的真实训练集上泛化训练,得到一个泛化后的最优BGNet立体匹配网络模型,该模型为最终的BGNet立体匹配网络模型。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工业大学,其通讯地址为:230009 安徽省合肥市包河区屯溪路193号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。