买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京航空航天大学;北京航空航天大学江西研究院申请的专利一种基于语音驱动的真实感虚拟人生成方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116206607B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310081778.9，技术领域涉及：G10L15/25；该发明授权一种基于语音驱动的真实感虚拟人生成方法及装置是由百晓;李嘉禾;王晨;郑锦设计研发完成，并于2023-02-08向国家知识产权局提交的专利申请。

本一种基于语音驱动的真实感虚拟人生成方法及装置在说明书摘要公布了：本发明提出一种基于语音驱动的真实感虚拟人生成方法：输入源视频和驱动音频；以源视频中的人物为虚拟人原型，从源视频中提取头部姿态、面部形状信息以及纹理信息；以驱动音频作为虚拟人说话的内容，输入驱动音频，合成与驱动音频同步的面部表情参数和眨眼动作信息；使用面部表情参数、眨眼动作信息、头部姿态、面部形状信息以及纹理信息构建虚拟人3DMM模型渲染图；引入Wav2Lip模块，将3DMM模型渲染图的唇部信息进行语音唇形一致性加强，获得虚拟人唇部增强结果图；输入驱动音频的梅尔频谱特征、虚拟人唇部增强结果图以及参考背景，利用条件生成对抗网络生成虚拟人视频。本发明有助于提高虚拟人视频生成的质量。

本发明授权一种基于语音驱动的真实感虚拟人生成方法及装置在权利要求书中公布了：1.一种基于语音驱动的真实感虚拟人生成方法，其特征在于，步骤如下：获取源视频和驱动音频，所述源视频为一段人物说话的视频，所述驱动音频为一段与所述源视频无关的语音音频；从所述源视频中提取头部姿态、面部形状信息以及纹理信息；以所述驱动音频作为虚拟人说话的语音内容，基于现有的语音识别模型，从所述驱动音频中提取得到具有泛化性的驱动语音特征，其中，所述驱动语音特征为以所述驱动音频为输入时模型的隐藏层的输出；使用所述驱动语音特征，合成与所述驱动音频同步的面部表情参数和眨眼动作信息，使用面部表情参数、眨眼动作信息、头部姿态、面部形状信息以及纹理信息构建虚拟人3DMM模型渲染图；引入Wav2Lip模块，将所述虚拟人3DMM模型渲染图的唇部信息进行语音唇形一致性加强，获得虚拟人唇部增强结果图；将从源视频中提取到的3DMM模型的表情参数、面部形状信息、纹理信息、头部姿态和人物的眨眼动作的AU值输入Face3D进行渲染，并根据源视频中提取到眨眼动作的AU值修改渲染结果的眼部的RGB值，获得源视频3DMM模型渲染图；提取所述源视频的所有RGB图像帧，遮盖所有RGB图像帧中各帧所对应的所述源视频3DMM模型渲染图覆盖的脸部区域，并在脸部区域的周边进行一定的扩充遮盖，获得参考背景；从源视频中提取梅尔频谱特征训练数据，通过与提取驱动音频的梅尔频谱特征相同的方式，以所述源视频的音频内容为输入，获得源视频的梅尔频谱特征；从源视频中提取唇部增强结果图训练数据，将所述源视频的梅尔频谱特征和所述源视频3DMM模型渲染图输入所述Wav2Lip模块，获得源视频唇部增强结果图；训练条件生成对抗网络cGAN渲染器，输入源视频中某时刻所对应的1帧及其前后各n帧所对应的所述源视频唇部增强结果图组成的图像序列，和该时刻的所述参考背景，以该时刻所对应的所述源视频的梅尔频谱特征作为条件输入，目标为对当前时刻所对应的视频帧的原RGB图像进行重建；将所述虚拟人唇部增强结果图、所述参考背景和所述驱动音频的梅尔频谱特征作为输入，使用训练得到的cGAN渲染器生成虚拟人视频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学;北京航空航天大学江西研究院，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。