南京航空航天大学;南京航空航天大学深圳研究院梁栋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京航空航天大学;南京航空航天大学深圳研究院申请的专利一种基于跨模态注意力引导的非刚性三维编辑方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120655802B 。
龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511160558.0,技术领域涉及:G06T15/00;该发明授权一种基于跨模态注意力引导的非刚性三维编辑方法及系统是由梁栋;吴盛杰;黄圣君;陈松灿设计研发完成,并于2025-08-19向国家知识产权局提交的专利申请。
本一种基于跨模态注意力引导的非刚性三维编辑方法及系统在说明书摘要公布了:本发明公开了一种基于跨模态注意力引导的非刚性三维编辑方法及系统。首先使用原始高斯溅射模型和若干不同的视角,渲染出原始帧,生成原始图像数据;接着使用二维扩散模型进行首轮编辑,挑选出一张最符合预期的图片,作为引导帧;之后使用单图像三维生成方法生成反渲染基底模型;接着使用生成的三维模型对针对原始帧的二次编辑过程中产生的若干跨模态注意力图进行反向渲染和正向渲染来优化多视图的编辑一致性;最后使用二次编辑所产生的最终编辑帧对原始高斯溅射模型进行优化,得到编辑后的高斯溅射模型。本发明通过使用更加符合编辑目标的跨模态注意力图反渲染基底模型,提高了跨模态注意力引导机制在非刚性编辑任务下的效果。
本发明授权一种基于跨模态注意力引导的非刚性三维编辑方法及系统在权利要求书中公布了:1.一种基于跨模态注意力引导的非刚性三维编辑方法,其特征在于,包括以下步骤: 步骤S1、使用原始高斯溅射模型和若干不同的视角,渲染出原始帧; 步骤S2、使用二维扩散模型对所述原始帧进行首轮编辑,生成引导帧,并以该引导帧为输入,通过单图像三维生成方法生成反渲染基底模型;使用的三维生成方法为zero123结合三维高斯溅射的生成方法,具体流程如下: 1将输入图片的对应视角固定在某一视角,作为参考视角; 2在以中心为球心的若干直径的球面上均匀采样相机视角,使用zero123生成这些视角的图片I'; 3计算视图差异性指标: 首先使用CLIP提取各个视角图像I'i的特征: fi=CLIPI'i 之后对所有图像对计算平均特征差异: 其中,N表示候选视角的总数量,i、j∈[1,N]; 4生成差异分布权重: 5选取差异分布权重最高的若干视角,作为优化视角; 6使用优化视角的图像数据训练生成三维高斯模型; 步骤S3、对所述原始帧进行二次编辑生成二维文本跨模态注意力图,使用所述反渲染基底模型对注意力图进行反渲染,输出高斯点云-文本提示词跨模态注意力,并通过正向渲染生成优化后的二维跨模态注意力图;反渲染操作通过以下公式实现: 其中,Gattni代表第i个高斯椭球体的跨模态注意力得分,V为视角集合,代表视角v的原始跨模态注意力图,p代表中的一个像素,代表像素p处的跨模态注意力得分,Oip代表高斯椭球体的不透明度,Tip代表高斯椭球体到像素p之间所有的高斯椭球体的不透明度的累计: αvp是视角v的像素p基于深度变化的权重,其计算方式为: 其中Dvp为视角v下像素p的深度值,λ为调节强度的超参数; 步骤S4、基于所述跨模态注意力,计算各个视角图像与参考视角的相似度,得到优化权重;之后使用二次编辑产生的最终编辑帧对原始高斯溅射模型进行带权重优化,得到编辑后的高斯溅射模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京航空航天大学;南京航空航天大学深圳研究院,其通讯地址为:211106 江苏省南京市江宁区将军大道29号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励