东南大学姚莉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东南大学申请的专利一种基于时域滤波神经辐射场的稀疏图像视图合成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118262028B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410445699.6,技术领域涉及:G06T15/20;该发明授权一种基于时域滤波神经辐射场的稀疏图像视图合成方法是由姚莉;滕逸青设计研发完成,并于2024-04-15向国家知识产权局提交的专利申请。
本一种基于时域滤波神经辐射场的稀疏图像视图合成方法在说明书摘要公布了:本发明提出了一种基于时域滤波神经辐射场的稀疏图像视图合成方法,本方法创新性引入一种时域滤波的神经辐射场模型,旨在解决由于多层感知机表示的神经辐射场渲染开销大,无法通过超采样的方式降低合成图像的锯齿噪声等问题,通过在时域内应用滤波技术,有效分摊超采样所需的计算负担到连续的帧上,从而在不增加额外的网络推理次数的前提下,显著提升了合成图像的质量,并有效减少了噪声与锯齿现象。此外为了提高神经辐射场的几何提取能力,方法引入了深度先验网络,并设计了帧间几何一致性损失,增强神经辐射场在多视图上的表达能力,提高网络的泛化性能。
本发明授权一种基于时域滤波神经辐射场的稀疏图像视图合成方法在权利要求书中公布了:1.一种基于时域滤波神经辐射场的稀疏图像视图合成方法,包括预处理阶段、神经辐射场训练阶段和渲染阶段,其特征在于,各阶段如下: 1)预处理阶段: 对输入的相关RGB图像进行一系列处理,得到场景的外观信息和深度几何信息,再通过运动恢复结构算法来获取图像对应的相机位姿; 2)神经辐射场训练阶段: 通过基于约束的神经辐射场模型; 步骤2)神经辐射场训练阶段具体包括如下步骤: 步骤2.1:利用单目深度先验作为在输入视点下基于排序的深度先验,计算排序损失,蒸馏预训练模型中的几何提取能力,对于一个相机位姿为P的RGB图像I,首先通过神经辐射场从相机位姿P出发,渲染出深度图并随机选取局部区域,同时将图像送入depthanything生成预估深度图并选择相同的局部区域,设 为深度图像上的两个2D坐标; 步骤2.2:如果相邻的深度像素在depthanything提供的深度图中体现为连续,那么将这种连续性的约束应用于NeRF对应的深度像素,从而保证其连续性,KNN·为最邻近函数,对于当前像素k1,用于返回在depthanything的深度图上已k1为中心某个小区域k个最邻近深度值,公式如下; ; 步骤2.3:未知视点相机姿态生成,认为已知视点相机位姿空间限制了未知视点相机空间,所从已知视点相机位姿空间中推断未知视点相机位姿空间,并在该空间中采样,生成未知视点相机位姿,公式如下; ; 步骤2.4:重要性采样,采用多维高斯分布采样,即为只需要在训练前计算一次每场输入图像的相机视锥体,计算出重叠次数最多的中心区域,该区域认为是需要重建物体的重点区域,采样公式如下; ; 步骤2.5:未知视点局部几何光滑性约束,在未知视点计算出该视点下深度图,然后计算局部几何光滑性约束损失,其中表示在该视点下的相机向场景投射的集合,Patch为局部大小,公式如下: ; 步骤2.6:未知视点局部颜色正则化,对于未知视点,计算该视点下神经辐射场生成的图像块的似然估计,并在训练阶段最大化该似然估计,公式如下; ; 3)渲染阶段: 使用基于时域滤波的神经辐射场模型; 步骤3)渲染阶段具体包括如下步骤: 步骤3.1:生成低差异序列,在神经辐射场中,对于每一帧中来说,每个像素只能有一根光线进行采样着色,为了对每一帧的所有像素生成不同的光线样本,需要在相机投影矩阵中添加一个视口子像素偏移,而每帧的偏移是从一个均匀分布的采样序列中生成,从而让每个像素被多帧中生成的样本均匀覆盖,在渲染中,为了让时域滤波累积结果尽快收敛,该序列必须有这样的性质:序列中任意长度的子序列都必须在像素上均匀分布; 步骤3.2:像素坐标重投影,在神经辐射场渲染中,由于帧与帧之间相机位置在发生变动,当前像素对应的三维点在上一帧中会有不同的像素坐标,所以需要对每个像素计算在上一帧中的对应位置来获得历史数据; 步骤3.3:颜色重采样,通过双线性插值来重采样; 步骤3.4:颜色混合,将每个像素的累积样本加权平均存储为单个颜色,这既是当前帧的输出,也是下一帧的历史输入结果,公式如下; 。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:210000 江苏省南京市江宁区东南大学路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。