Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 杭州秋果计划科技有限公司曹卫获国家专利权

杭州秋果计划科技有限公司曹卫获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉杭州秋果计划科技有限公司申请的专利风格化数字人视频生成方法、电子设备和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119211659B

龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411699073.4,技术领域涉及:H04N21/81;该发明授权风格化数字人视频生成方法、电子设备和存储介质是由曹卫;刘治彬;史春苓;陈科科设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。

风格化数字人视频生成方法、电子设备和存储介质在说明书摘要公布了:本申请提供一种风格化数字人视频生成方法、电子设备和存储介质。属于图像处理技术领域,所述方法包括:接收风格化数字人视频生成指令,风格化数字人视频生成指令包括用户照片、目标风格化类型以及配音文件;根据目标风格化类型,将用户照片转化为目标风格化图像;将目标风格化图像和配音文件输入预训练的口型驱动模型,其中,预训练好的口型驱动模型提取目标风格化图像的身份特征以及配音文件的音频特征,并根据身份特征和音频特征生成风格化数字人视频;获取预训练的口型驱动模型输出的风格化数字人视频,风格化数字人视频的口型驱动与配音文件同步。本申请还能够提供更加个性化、实时性和高质量的风格化数字人视频。

本发明授权风格化数字人视频生成方法、电子设备和存储介质在权利要求书中公布了:1.一种风格化数字人视频生成方法,其特征在于,所述方法包括:接收风格化数字人视频生成指令,所述风格化数字人视频生成指令包括用户照片、目标风格化类型以及配音文件;根据所述目标风格化类型,获取与所述目标风格化类型关联的风格图像,通过预训练的卷积神经网络提取所述用户照片的内容特征和所述风格图像的风格特征,所述内容特征用于保留所述用户照片的结构和内容,所述风格特征用于捕捉所述风格图像的纹理和色彩信息,根据所述内容特征和所述风格图像随机生成一张初始风格化图像,计算所述初始风格化图像和所述用户照片的内容损失,所述内容损失用于衡量所述初始风格化图像的内容特征与所述用户照片的内容特征之间的差异,计算所述初始风格化图像和所述风格图像的风格损失,所述风格损失用于衡量所述初始风格化图像的风格特征与所述风格图像的风格特征之间的差异,通过最小化所述内容损失和所述风格损失的组合,在每次迭代中,调整生成的风格化图像的像素值;在检测到内容损失和风格损失的组合趋于稳定时,确认迭代结束,获取最终生成的目标风格化图像;将所述目标风格化图像和所述配音文件输入预训练的口型驱动模型,其中,所述预训练的口型驱动模型提取所述目标风格化图像的身份特征以及所述配音文件的音频特征,并根据所述身份特征和所述音频特征生成风格化数字人视频;获取所述预训练的口型驱动模型输出的所述风格化数字人视频,所述风格化数字人视频的口型驱动与所述配音文件同步;其中,所述口型驱动模型包括生成器网络和判别器网络,所述判别器网络包括口型同步判别器,在所述将所述目标风格化图像和所述配音文件输入预训练的口型驱动模型之前,还包括:获取训练集,所述训练集包括各个风格化类型的数字人口型驱动视频,提取所述各个风格化类型的数字人口型驱动视频的音频信息,并将所述音频信息切割成音频块,将所述音频块和所述各个风格化类型的数字人口型驱动视频中的图像帧进行配对,形成所述音频块和对应图像帧的匹配对以及所述音频块和不对应图像帧的不匹配对,对所述匹配对和所述不匹配对中的音频块和图像帧进行特征提取,生成音频特征向量和图像特征向量,分别计算所述匹配对和所述不匹配对的音频特征向量和图像特征向量之间的余弦相似度,将所述余弦相似度映射到[0,1]的概率区间内,转换为匹配概率值,基于所述匹配概率值计算匹配损失,通过最小化所述匹配损失,对所述口型同步判别器进行反馈更新,直至完成所述口型同步判别器的训练,在训练好所述口型同步判别器之后,在所述训练集中抽取重建目标帧,通过掩蔽所述重建目标帧的口型部分,训练所述生成器网络基于被掩蔽口型部分的所述重建目标帧生成重建图像帧,并基于所述重建目标帧和所述重建图像帧计算重建损失,基于训练好的所述口型同步判别器,计算所述重建图像帧的口型与所述重建目标帧的口型之间的同步损失,基于所述重建损失和所述同步损失对所述生成器网络进行反馈更新,直至完成所述生成器网络的训练。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州秋果计划科技有限公司,其通讯地址为:310000 浙江省杭州市滨江区长河街道网商路699号4号楼5楼502室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。