Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 深圳职业技术大学杨欧获国家专利权

深圳职业技术大学杨欧获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉深圳职业技术大学申请的专利基于上下文几何立方体和扭曲视差优化的立体匹配方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119599967B

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411639453.9,技术领域涉及:G06T7/00;该发明授权基于上下文几何立方体和扭曲视差优化的立体匹配方法和系统是由杨欧;吴庆甜;龙婷;刘宁设计研发完成,并于2024-11-18向国家知识产权局提交的专利申请。

基于上下文几何立方体和扭曲视差优化的立体匹配方法和系统在说明书摘要公布了:本发明公开了一种基于上下文几何特征和扭曲视差优化的立体匹配方法,首先通过双目相机拍摄标定好的左右两张图片,提取两张图片的多尺度的上下文特征,根据左右特征图对应不同视差下的特征点计算特征点之间的相似度,也就是匹配代价,从而构造几何立方体包含着丰富的几何匹配信息。同时将上下文特征按视差复制扩展成同样大小的上下文特征立方体,包含着丰富的上下文信息。几何立方体中包含着不同视差左右视图特征点的匹配情况,通过左视图的上下文特征指导代价聚合,初步将上下文特征信息、不同视差下的特征点代价匹配信息以及相邻特征点的几何信息融合,来提高代价匹配的可靠性,生成几何注意力权重立方体。以过滤上下文特征立方体。

本发明授权基于上下文几何立方体和扭曲视差优化的立体匹配方法和系统在权利要求书中公布了:1.一种基于上下文几何特征和扭曲视差优化的立体匹配方法,其特征在于,包括如下步骤: 1获取双目相机标定好的待匹配的左右视角图像,对该待匹配的左右视角图像对进行预处理,以得到预处理后的左右视角图像; 2将步骤1得到的预处理后的左右视角图像输入预先训练好的立体匹配模型中,以得到最终的视差图作为立体匹配结果;立体匹配模型包含顺次相连的轻量化多尺度特征提取网络、3D正则化网络、扭曲视差优化模块、3D深度可分离卷积模块四个部分; 3D正则化网络包括沙漏网络模块以及上下文几何注意力模块; 沙漏网络模块包含下采样和上采样两个部分; 下采样部分包括: 第一层解码器,其输入是一个形状为B,C,D4,H4,W4的五维张量,其首先将该五维张量输入一个维度为3×3×3的3D卷积核,将该五维张量的通道数转换成2C,从而输出一个形状为B,2C,D8,H8,W8的五维张量;然后,将该五维张量先后输入第二个维度为3×3×3的3D卷积核和BN+ReLU层,最终输出一个形状为B,2C,D8,H8,W8的五维张量,其中D表示左右视角图像的视差; 第二层解码器,其输入是第一层解码器输出的形状为B,2C,D8,H8,W8的五维张量,其首先将该五维张量输入一个维度为3×3×3的3D卷积核,将该五维张量的通道数转换成4C,从而输出一个形状为B,4C,D16,H16,W16的五维张量;然后,将该五维张量先后输入第二个维度为3×3×3的3D卷积核和BN+ReLU层,最终输出一个形状为B,4C,D16,H16,W16的五维张量; 第三层解码器,其输入为第二层解码器输出的形状为B,4C,D16,H16,W16的五维张量,其首先将该五维张量输入一个维度为3×3×3的3D卷积核,将该五维张量的通道数转换成6C,从而输出一个形状为B,6C,D32,H32,W32的五维张量;然后,将该五维张量先后输入第二个维度为3×3×3的3D卷积核和BN+ReLU层,最终输出一个形状为B,6C,D32,H32,W32的五维张量; 上采样部分包括: 第一层编码器,其输入为下采样第三层解码器输出的形状为B,6C,D32,H32,W32的五维张量,其首先将该五维张量输入一个维度为4×4×4的3D卷积核,将该五维张量的通道数转换成4C,从而输出一个形状为B,4C,D16,H16,W16的五维张量;然后,将该五维张量先后输入BN+ReLU层,最终输出一个形状为B,4C,D16,H16,W16的五维张量; 第二层编码器,其输入为第一层解码器输出形状为B,4C,D16,H16,W16的五维张量,其首先将该五维张量输入一个维度为4×4×4的3D卷积核,将该五维张量的通道数转换成2C,从而输出一个形状为B,2C,D8,H8,W8的五维张量;然后,将该五维张量先后输入BN+ReLU层,最终输出一个形状为B,2C,D8,H8,W8的五维张量; 第三层编码器,其输入为第二层解码器输出形状为B,2C,D8,H8,W8的五维张量,其首先将该五维张量输入一个维度为4×4×4的3D卷积核,将该五维张量的通道数转换成C,从而输出一个形状为B,C,D4,H4,W4的五维张量;然后,将该五维张量先后输入BN+ReLU层,最终输出一个形状为B,C,D4,H4,W4的五维张量; 上下文几何注意力模块包括两个输入,一个输入是左视角特征图Fc,其是一个形状为B,C,H,W的四维张量,其包含了丰富的上下文特征信息;另一个输入是几何立方体FG,其形状为B,C,D,H,W的五维张量,其包含了丰富的几何信息; 上下文几何注意力模块首先将左视角特征图按视差维度扩展成形状为B,C,D,H,W的五维张量,即上下文特征立方体F′c,并将几何立方体FG和上下文特征立方体F′c沿通道维度进行拼接,以得到形状为B,2C,D,H,W的五维张量,即拼接立方体;然后,将该五维张量输入一个维度为1×5×5的3D卷积核,将该五维张量的通道数减少为C,从而输出一个形状为B,C,D,H,W的五维张量;随后,将该五维张量使用σSigmoid函数激活,从而输出一个形状为B,C,D,H,W的五维张量,即拼接融合立方体ACF,其公式如下: ACF=σconv3dconcat{F′c,FG} 其中concat表示输入的张量沿通道维度进行拼接,conv3d表示3D卷积; 然后,通过拼接融合立方体ACF∈RB×C×D×H×W与上下文特征立方体F′c来逐元素相乘得到初始上下文集合注意力,其是一个形状为B,C,D,H,W的五维张量,随后,将该五维张量与几何立方体沿通道维度拼接,输出一个形状为B,2C,D,H,W的五维张量;最后将该五维张量输入一个维度为1×5×5的3D卷积核,将该五维张量的通道数减少为C,从而输出一个形状为B,C,D,H,W的五维张量,即上下文几何注意力立方体G,其充分融合上下文特征信息和几何信息,以得到包含丰富信息的上下文几何注意力立方体G,其公式如下所示: G=conv3dconcat{FG,ACF⊙F′c} 其中⊙表示逐元素相乘; 扭曲视差优化模块包括: 第一部分是扭曲视差变换层,其输入是右视角特征图和初始视差图,右视角特征图是一个形状为B,C,H,W的四维张量,初始视差图是一个形状为B,1,H,W的四维张量,扭曲视差变换层首先根据输入的右视角特征图的通道数C、高度H和宽度W创建网格坐标xx,yy,用于表示右视角特征图中每个像素点的坐标;然后,根据初始视差图对网格横坐标xx进行扭曲调整,以得到更新后的网格横坐标,将该网格横坐标调整到标准化范围[-1,1],并将标准化调整后的网格横坐标转换为PyTorch的grid格式,以得到初始视差调整后的扭曲网格坐标warpedxx,warpedyy;随后,使用nn.functional.grid_sample函数,并利用初始视差调整后的扭曲网格坐标,对右视角特征图进行双线性插值采样出库,以得到扭曲后的图像;最后,创建一个与右视角特征图相同大小的全为1的掩码mask,使用nn.functional.grid_sample函数,并利用初始视差调整后的扭曲网格坐标对掩码mask进行双线性插值采样,得到扭曲网格坐标目标位置的掩码的值,以确定右视角特征图中的有效像素,并保留有效像素,从而得到视差扭曲之后的形状为B,C,H,W的四维张量,即扭曲后的右视角特征图; 第二部分是扭曲代价立方体构建层,其输入是扭曲视差变换层得到的扭曲后的右视角特征图、左视角特征图和最大视差值maxdisp,扭曲代价立方体构建层首先根据左视角特征图的形状,创建一个与左视角特征图相同数据类型的全零张量volume,用于存储相关性体积;然后,根据最大视差值maxdisp确定视差值范围[-maxdisp,maxdisp],遍历视差值范围中的所有整数视差,并使用余弦相似性计算左视角特征图和扭曲右视角特征图在每个整数视差下的相关性;最后;将获得的所有整数视差下的相关性存储在全零张量volume中,以得到扭曲成本体,其形状为B,C,D,H,W的五维张量; 第三部分是扭曲视差优化层,其输入是左视角特征图、初始视差图,以及第二层得到的扭曲成本体,扭曲视差优化层首先将左视角特征图减去扭曲右视角特征图,以得到重建误差,其是形状为B,C,H,W的四维张量;然后,将重建误差、左视角特征图、初始视差图、扭曲成本体沿通道维度进行张量的拼接,以得到拼接体,其是形状为B,C′,H,W的四维张量;然后,将拼接体和初始视差输入8个卷积层构成的亚精度模块中进行视差优化,以提取其中的残差视差值disp,即视差维度值。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳职业技术大学,其通讯地址为:518055 广东省深圳市南山区西丽街道留仙大道7098号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。