买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院沈阳自动化研究所申请的专利基于语义指导的零样本泛化三维物体重建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120047615B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510090805.8，技术领域涉及：G06T17/00；该发明授权基于语义指导的零样本泛化三维物体重建方法是由刘西瑶;颉阳;韩志设计研发完成，并于2025-01-21向国家知识产权局提交的专利申请。

本基于语义指导的零样本泛化三维物体重建方法在说明书摘要公布了：本发明涉及一种基于语义指导的零样本泛化三维物体重建方法，属于计算机视觉和图像处理技术领域。该方法包括：利用了分数蒸馏采样策略在单幅图像三维重建过程中的优越性；设计提示词，指导多模态大语言模型生成对图像从粗粒度到细粒度的描述，指导三维结果的生成；采用了一种多模态数据对齐的策略，实现语义和视觉模态的对齐，将语义信息融入到生成的三维结构中。本发明能够以零样本泛化解决单幅图像生成三维物体结构的问题，并在真实数据集中对本发明进行实验验证，证明了本发明的优越性。

本发明授权基于语义指导的零样本泛化三维物体重建方法在权利要求书中公布了：1.基于语义指导的零样本泛化三维物体重建方法，其特征在于，建立语义与三维视觉间的跨模态信息融合，生成基于语义指导的最优三维物体结构，包括以下步骤： 预处理步骤：分离图像中的目标物体与背景，得到目标物体掩码图像mask，提取目标物体的深度信息depth和物体表面法向信息normal； 模型构建步骤：基于从粗到细的两阶段分数蒸馏采样构建三维隐式结构子模型；引入多模态大语言模型生成对图像的粗细粒度描述，并计算细粒度相似度；构建二维结构和三维结构的渲染网络模型；同时采用CLIP网络进行粗粒度的语义对齐，优化生成的新视角；通过视觉文本对齐策略实现构建语义特征指导的多模态三维重建网络3Dimplicitrepresentation；构建模型总损失函数用于迭代学习过程中反向传播回调多模态三维重建网络的各部分网络参数； 所述基于从粗到细的两阶段分数蒸馏采样包括：基于NeRF网络和DMTet网络构建三维隐式结构子模型，初始化隐式神经网络表示三维场景，采样空间点并预测其颜色和密度，结合体积渲染，得到多视角图像NovelView，通过指导生成的多视角图像的质量，逐步优化生成的真实感图像；两阶段中三维结构到多视角的渲染方式不同，第一阶段采用神经辐射场NeRF网络，第二阶段采用DMTet网络实现细化；通过反向传播更新参数，从而更新生成的三维结构，得到图像渲染结果的多视图Novelview；同时第一阶段的三维重建结果作为第二阶段的初始化输入，用于加快细化过程的生成速度； 通过视觉文本对齐策略实现构建语义特征指导，包括：对输入图像对应的视角点进行二维渲染结的强约束计算Lpre、Ld、Ln； Lpre为渲染得到的原视角图像和输入图像预处理后的RGB和掩码图像的二范数损失； ⊙两个矩阵对应元素之间的逐元素相乘，M为沿每个像素的射线积分体密度获得的前景mask； Ld为渲染得到的原视角深度图像和输入深度图Pearson负相关损失； 其中cov.表示协方差，σ.表示标准差；dr原视角渲染结果的深度估计图，d是预处理得到的深度图； Ln为利用深度的有限差来估计每个点的法向量，从法向量中渲染二维法线贴图n，并施加如下损失： Ln＝‖n-τgn,k‖ 其中τ.为停止梯度运算，g.为高斯模糊，卷积核k的大小设为9×9； 迭代处理步骤：利用单幅图像为输入，采用其预处理结果对构建的多模态三维重建网络进行迭代求解，最终输出重建图像Mesh。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院沈阳自动化研究所，其通讯地址为：110016 辽宁省沈阳市沈河区南塔街114号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。