吉林大学王世刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉吉林大学申请的专利一种宽基线稀疏相机阵列的新视图合成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116630440B 。
龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310620550.2,技术领域涉及:G06T7/80;该发明授权一种宽基线稀疏相机阵列的新视图合成方法是由王世刚;宋晨曦;韦健;赵岩;张睿;李天舒设计研发完成,并于2023-05-30向国家知识产权局提交的专利申请。
本一种宽基线稀疏相机阵列的新视图合成方法在说明书摘要公布了:一种宽基线稀疏相机阵列的新视图合成方法属计算机视觉和计算机图形学中的新视图合成技术领域,本发明的方法分为对目标稀疏采集、相机姿态标定和深度图重建、构建平面‑深度融合扫描体、使用卷积神经网络生成预测视图四个步骤。在对目标稀疏采集时使用了宽基线稀疏相机阵列,用采集的稀疏视图进行相机姿态的标定,并提出了一种相机姿态标准化方法,利用标准化后的相机姿态,设计了平面‑深度融合扫描体,最后利用两个卷积神经网络生成预测视图。实际效果表明,相较于现有的新视图合成方法,本发明提出的新视图合成方法具有输入视角大、生成图像质量高、生成视点位置自由的优点,视图合成效果优于传统的新视图合成方法。
本发明授权一种宽基线稀疏相机阵列的新视图合成方法在权利要求书中公布了:1.一种宽基线稀疏相机阵列的新视图合成方法,包括下列步骤: 1获取物体的稀疏采集视图,包括下列步骤: S1.1搭建宽基线的球面相机阵列,每行和每列相机都在球面的同一段弧线上,相机采用会聚式结构,每个相机的焦点均与球心重合,且每个相机的物理参数都相同;在采集时,被拍摄目标放置在焦点附近,以保证在每个相机拍摄的图像中,目标都位于图像的中心附近; S1.2使用相机阵列对目标进行同步拍摄,得到目标的稀疏视图; 2使用步骤1.2得到的稀疏视图,进行相机阵列的姿态标定和深度图重建,包括下列步骤: S2.1对稀疏视图使用多视图校准来估计每个相机的姿态,相机的内参矩阵G包括焦距、;像主点坐标;畸变系数;使用传统的棋盘格标定法进行标定; S2.2使用多视角标定的方法获取相机外参包括旋转矩阵R和平移向量T,并重建出部分深度图,由于深度图中含有无法被重建出深度值的空洞,所以称为部分深度图; 3对步骤2.2获取的相机外参进行坐标系标准化,包括下列步骤: S3.1设在当前坐标系下,点P的坐标是,记为,设相机的坐标是,记为,相机的坐标是,记为,和表示由变换到的旋转矩阵和平移向量,和表示由变换到的旋转矩阵和平移向量,由变换到的旋转矩阵和平移向量表示为如下形式: ,; S3.2利用步骤3.1得到的表达式,对步骤2.2得到的相机外参进行转换,得到以指定相机的姿态作为基准时,相机阵列中其他相机的旋转矩阵和向量,此时基准相机的姿态变为单位矩阵E和0向量,其他相机的姿态由基准相机做刚性变换得到,只与基准相机有关,即实现了相机坐标系的标准化; 4根据步骤2得到的相机内参、外参、部分深度图,使用步骤3得到的标准化后的相机坐标系,对输入图像进行图像映射,来生成目标相机的映射视图,其中,下标t表示目标相机在相机阵列中的位置坐标,具体包括以下步骤: S4.1为了获取要合成的目标相机所对应的深度信息,首先使用步骤2.1获取的输入相机的内参矩阵,将输入的图像按照步骤2.2获取的部分深度图映射到三维空间中,形成三维点集,其中下标j代表该输入相机的序号,设输入相机的个数为n,则j的取值范围为[1,n]; S4.2使用步骤2.2和步骤3得到的标准化后的目标相机的旋转矩阵和平移向量,将步骤4.1中三维空间的点集投影到目标相机上,得到目标相机对应的部分深度图,然后在部分深度图中的空洞位置填充一系列深度值,得到一系列的深度平面,并构成一组深度图张量,这些填充的深度值在部分深度图的中值的±25%范围内均匀取值; S4.3利用目标相机的内参矩阵和深度图张量中的每一张深度图,将目标相机所拍摄图像中每个像素点所在的位置映射到三维空间获得像素点的三维坐标,其中下标i代表了深度图张量中每张深度图的序号; S4.4在获得了目标相机所拍摄图像的像素点在空间中的三维坐标后,利用旋转矩阵和平移向量,将三维坐标重投影到每个输入相机的图像上,使用双三次插值的方式提取出每个位置所对应的像素值,即能得到目标位置的一张映射视图,其中,表示取深度图时,得到的一张映射视图,对每张深度图都进行该操作,再将得到的每张映射视图排列成组,就得到了目标位置的一组映射视图; 5根据步骤4计算出的映射视图,构建平面-深度融合扫描体,具体包括以下步骤: S5.1按照步骤4计算每个输入相机映射到目标相机的映射视图,其中,代表第j个输入视图映射到目标相机的一组映射视图; S5.2计算n组映射视图中每张相同深度下映射视图的均值和方差,其中表示第j个输入视图所对应的一组映射视图中的第i张映射视图,将计算得到的均值与方差排列成组,组成平面-深度融合扫描体; 6将步骤5得到的平面-深度融合扫描体输入到特征提取卷积神经网络中,生成特征蒙版,然后利用构成颜色预测卷积神经网络的输入,生成目标相机的预测视图,具体包括以下步骤: S6.1使用全卷积的自动编码器构建,自动编码器由编码端和解码端构成,编码端对输入数据进行尺寸压缩,并提取不同尺度下的特征信息,再由解码端对特征信息进行解码,并恢复数据尺寸,编码端与解码端采用对称结构,并在解码端的输出即为特征蒙版; S6.2颜色预测卷积神经网络采用与相同的结构,但网络参数不共享,且两个网络的输入和输出构成不同,的输入由4部分组成,表示为: ; 其中:表示输出的特征蒙版;{}表示n个输入视图分别按照其对应的部分深度图映射到目标位置处的映射视图,再与蒙版生成的哈达玛积;{}表示n个输入视图;{}是目标相机在相机阵列中的等效二维坐标,表示目标相机在相机阵列中的相对位置,的输出就是生成的预测视图。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人吉林大学,其通讯地址为:130012 吉林省长春市长春高新技术产业开发区前进大街2699号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励