买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津理工大学申请的专利一种基于扩散模型的人脸表情讲话视频生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120088696B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411991550.4，技术领域涉及：G06V20/40；该发明授权一种基于扩散模型的人脸表情讲话视频生成方法是由亓帆;潘昊设计研发完成，并于2024-12-31向国家知识产权局提交的专利申请。

本一种基于扩散模型的人脸表情讲话视频生成方法在说明书摘要公布了：本发明公开了一种基于扩散模型的人脸表情讲话视频生成方法，本发明在初始的中性面部图像、音频序列、文本序列以及真实的参考视频的基础上，目标是生成不仅能够保持主体身份，且与音频输入情感相关联的视频。本发明利用潜在空间中的动作流特征序列，有助于生成面部表情准确且时间一致性良好的视频；本发明引入了一个风格预测器，用于从音频编码中预测合适的情感类别，该情感类别预测作为生成模型的引导，使其生成的视频能够符合指定的情感类别。本发明还引入了唇同步模块，该模块将生成的嘴部运动与输入音频对齐，显著提高了语音与唇部运动之间的同步效果。此外，本发明加入了一个控制网络模块，通过使用控制网络模块，能够更高效地处理面部表情视频生成的条件控制任务，确保输出视频满足精确的要求。

本发明授权一种基于扩散模型的人脸表情讲话视频生成方法在权利要求书中公布了：1.一种基于扩散模型的人脸表情讲话视频生成方法，其特征在于，包括以下步骤： 步骤一，构建并训练一个人脸动作流预测模型，以估计从中性人脸图像到带表情的人脸图像的细微动态变化的动作流特征和遮挡图； 步骤二：构建一个结合了风格预测器、唇同步模块和控制网络模块的DDPM模型； 该模型的输入包括：文本序列、中性人脸图像以及音频序列，其中，中性人脸图像包含特定的身份信息，通过人脸关键点提取器和图像编码器进行编码以获得人脸图像特征Z0，音频序列输入音频编码器得到音频编码a，文本序列输入语言表征模型得到文本编码e；音频编码a输入至风格预测器，判断出其表情类别y； k帧真实的视频被解析成帧，每对相邻帧经过步骤一的训练好的人脸动作流预测模型，从而预测出k帧真实的视频的动作流特征和遮挡图；然后将动作流特征和遮挡图沿通道维度连接，形成一个创建的初始特征序列X0； 在DDPM加噪过程中，标准的3D高斯噪声序列被逐渐添加到初始特征序列X0，直到经过T步后，序列变得完全是噪声，表示为： 在DDPM去噪过程中，得到的表情类别y和人脸图像特征Z0被输入到控制网络模块；DDPM去噪过程如下： ∈θ＝FXt+ZFXt+Zy,Z0；θ1；θc；θ2 其中，F为预训练的去噪U-Net，Z·；·表示控制网络模块的1×1卷积层，Xt表示去噪t步的噪声，θc表示控制网络模块中可训练副本的参数，而θ1和θ2是两个零卷积层的参数；∈θ表示模型预测的噪声； 整个去噪过程中，模型的目标是估计在DDPM加噪过程中每一步引入的噪声，模型使用以下损失进行训练： L＝λdenoiseLdenoise+λsyncLsync 其中，L代表模型的总损失，Ldenoise代表去噪过程的损失，Lsync代表来自唇同步模块的损失，λdenoise代表Ldenoise的占比，λsync代表Lsync的占比； Ldenoise使用均方误差损失，计算如下： 其中t在1和T之间均匀抽样，∈表示添加的噪声， 在DDPM逆采样过程中生成预测的特征序列其中代表合成的动作流特征序列，代表遮挡图序列，concat表示通道维度的级联操作； 步骤三：用生成的动作流特征序列和遮挡图序列对输入的中性人脸图像执行转换操作，生成对应的表情特征序列，再经过解码后得到最终的人脸表情讲话视频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津理工大学，其通讯地址为：300384 天津市西青区宾水西道391号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。