上海交通大学李韶旭获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海交通大学申请的专利基于微调三维生成对抗网络的三维动态肖像编辑方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119444941B 。
龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411530494.4,技术领域涉及:G06T13/40;该发明授权基于微调三维生成对抗网络的三维动态肖像编辑方法及系统是由李韶旭;潘烨设计研发完成,并于2024-10-30向国家知识产权局提交的专利申请。
本基于微调三维生成对抗网络的三维动态肖像编辑方法及系统在说明书摘要公布了:本发明提供了一种基于微调三维生成对抗网络的三维动态肖像编辑方法及系统,包括:完成联合三维生成对抗网络逆映射,基于对齐图像微调三维生成对抗网络,基于原始图像微调三维生成对抗网络,渲染身份神经辐射场,使用扩散模型编辑渲染图像后微调三维生成对抗网络;联合三维生成对抗网络逆映射有效地解耦了身份和运动、相机信息;通过基于对齐图像微调三维生成对抗网络,提升三维生成对抗网络对于输入视频的身份信息的映射准确性;通过基于原始图像微调三维生成对抗网络,将基于对齐头部图像的三维生成对抗网络拓展至半身的图像渲染;通过渲染身份经辐射场,使用扩散模型编辑渲染图像并微调三维生成对抗网络,有效实现风格化的编辑。
本发明授权基于微调三维生成对抗网络的三维动态肖像编辑方法及系统在权利要求书中公布了:1.一种基于微调三维生成对抗网络的三维动态肖像编辑方法,其特征在于,包括: 步骤S1:获取肖像视频中每一帧肖像图像,并对获取的肖像图像进行预处理,利用预训练的生成对抗网络,基于预处理后的肖像图像及相对应的损失函数,得到肖像图像对应的逆映射参数; 步骤S2:基于预处理后的肖像图像获取肖像面部图像,构建个性化的三维生成对抗网络,基于肖像面部图像及对应的逆映射参数对个性化的三维生成对抗网络进行微调,得到微调后的个性化的三维生成对抗网络; 步骤S3:基于肖像视频中的每一帧肖像图像及对应的逆映射参数对微调后的个性化的三维生成对抗网络进行第二次微调,得到第二次微调后的个性化的三维生成对抗网络; 步骤S4:基于逆映射身份信息参数通过第二次微调后的个性化的三维生成对抗网络渲染身份肖像多视角图像,并对获得的肖像图像使用扩散模型及对应文本提示进行编辑,得到经过编辑后的肖像图像,基于编辑后的肖像图像和对应的逆映射参数对第二次微调后的个性化的三维生成对抗网络进行训练,得到优化后的风格化的三维生成对抗网络; 所述步骤S1中的损失函数包括: 其中,wid表示肖像的身份信息;on表示肖像的动作信息;c′n表示对应经过预处理后图像的相机参数,Grawwid+on,c′n表示生成的样本图像,I′n表示预处理后的输入图像,Llpips和λlpips表示可学习感知图像块相似度损失及相对应的权重,LL2表示欧式距离损失,λL2及λreg分别为平衡欧式距离损失及动作信息惩罚损失所对应的权重; 所述步骤S2包括:基于肖像面部图像及对应的逆映射参数对个性化的三维生成对抗网络进行微调,损失函数包括: 其中,G′raw表示个性化的三维生成对抗网络; 所述步骤S3包括:基于肖像视频中的每一帧肖像图像及对应的逆映射参数对微调后的个性化的三维生成对抗网络进行第二次微调,损失函数包括: 其中,cn对应经过未进行预处理的图像的相机参数,In表示肖像视频中的每一帧肖像图像,G″raw表示个性化的半身三维生成对抗网络; 所述步骤S4中基于逆映射身份信息参数通过个性化的三维生成对抗网络渲染身份肖像多视角图像,并对获得的肖像图像使用扩散模型及对应文本提示进行编辑,得到经过编辑后的肖像图像,包括: 步骤S4.1:基于获取的肖像身份信息参数wid通过第二次微调后的个性化的三维生成对抗网络渲染身份神经辐射场,得到多视角的肖像图像; 步骤S4.2:利用扩散模型编辑正面肖像,并利用视频风格化方法编辑多视角的肖像图像; 其中,Diff表示预训练的文本引导的图像编辑扩散模型,Gedit表示待编辑微调的三维生成对抗网络,cm_front表示正面视角对应的相机参数;表示正面视角对应的未编辑的半身肖像图像,表示经过编辑的正面视角渲染的半身肖像图像; 其中,表示经过扩散模型和视频风格化编辑的编辑后图像,Geditwid,cm表示基于身份隐变量渲染的对应视角cm的图像,Video_style表示视频风格化算法; 所述基于编辑后的肖像图像和对应的逆映射参数对第二次微调后的个性化的三维生成对抗网络进行训练,损失函数包括: 其中,Geditwid,cm表示基于身份隐变量渲染的对应视角cm的图像;表示经过扩散模型和视频风格化编辑的编辑后图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海交通大学,其通讯地址为:200240 上海市闵行区东川路800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励