浙江大学邵天甲获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于稀疏的闪光图像重建人体几何和材质的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119228998B 。
龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411232688.6,技术领域涉及:G06T17/00;该发明授权一种基于稀疏的闪光图像重建人体几何和材质的方法是由邵天甲;陆佳炜;周昆设计研发完成,并于2024-09-04向国家知识产权局提交的专利申请。
本一种基于稀疏的闪光图像重建人体几何和材质的方法在说明书摘要公布了:本发明公开一种基于稀疏的闪光图像重建人体几何和材质的方法,首先,构建并预训练包含图像特征提取网络、几何预测网络和材质预测网络的几何材质预测网络。然后,拍摄目标人物的闪光图像,从每个视角随机像素发射光线,使用球面追踪算法和预训练的几何预测网络,得到光线和场景的交点,使用预训练的材质预测网络得到交点的材质;基于交点的几何和材质属性,使用基于物理的可微分渲染计算交点的颜色,以接近实际像素颜色为目标,对几何材质预测网络进一步优化。最终,使用优化后的网络提取人体模型的几何和材质。本发明仅利用消费级设备暗光下拍摄的多视角闪光图像和相机位姿信息,即可在较短时间内得到高质量的、可重新照明的人体数字化资产。
本发明授权一种基于稀疏的闪光图像重建人体几何和材质的方法在权利要求书中公布了:1.一种基于稀疏的闪光图像重建人体几何和材质的方法,其特征在于,包括以下步骤: 步骤一:获取公开的人体扫描数据集,对于其中的每个人体模型,以人体模型的所有顶点平均坐标为原点,将每个人体模型归一化到单位立方体内,使用归一化后的人体模型的所有顶点和法线作为几何数据,使用人体模型的贴图作为材质数据;并使用个相机参数围绕每个人体模型渲染不同视角的闪光图像;所述闪光图像是指在相机位置放置点光源拍摄的图像; 步骤二:构建并预训练几何材质预测网络,所述几何材质预测网络包含图像特征提取网络、几何预测网络和材质预测网络;其中, 所述图像特征提取网络为U-Net架构,其输入为的图像,输出是的特征块;其中,H表示输入图像的高度,W表示输入图像的宽度; 所述几何预测网络包括几何变换器和几何多层感知机,其中,所述几何变换器包含两个自注意力模块,每个自注意力模块包括多头注意力网络和位置编码的前向网络,所述多头注意力网络包括三个输入线性层、Softmax层和输出线性层,所述位置编码的前向网络包括线性层和激活层;所述几何变换器的输入为个维的特征向量和个投影点的相机空间坐标的深度值Z,输出为融合的129维特征;所述几何变换器的输入通过如下方式获得:给定单位立方体内的任意点的空间坐标,以及个视角图像对应的相机位姿,通过向个视角相机投影该点,得到投影点的相机空间坐标,此时即可获得个投影点的相机空间坐标的深度值Z;然后对于个投影点的相机空间坐标,通过双线性插值采样所述图像特征提取网络输出的特征块,得到个维的特征向量;所述几何多层感知机包括五层线性层,输入为所述几何变换器输出的融合的129维特征,输出为每个点对应的有向距离,维度为1; 所述材质预测网络包括材质变换器和材质多层感知机,所述材质变换器的结构、输入维度、输出维度均和所述几何变换器相同,所述材质多层感知机的输入为材质变换器输出的融合的129维特征,输出为每个点的位置对应的材质系数,维度为7; 步骤三:拍摄目标人物的图像,从每个拍摄视角的随机像素发射光线,使用球面追踪算法和基于步骤二预训练的几何预测网络,得到光线和场景的交点,交点的材质根据步骤二预训练的材质预测网络得到;基于交点的几何和材质属性,使用基于物理的可微分渲染计算颜色,以接近实际像素颜色为目标,对几何材质预测网络进行进一步的训练优化,从而使几何材质预测网络输出更准确的几何和材质; 步骤四:在单位立方体中均匀格点处,基于步骤三得到的优化后的几何预测网络计算有向距离,然后利用步进立方体算法提取三角网格;对三角网格的顶点,利用步骤三得到的优化后的材质预测网络预测顶点的材质信息;最终,自动展开UV,得到材质贴图。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励