买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于高斯泼溅的说话人脸视频生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119600190B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411575054.0，技术领域涉及：G06T17/00；该发明授权一种基于高斯泼溅的说话人脸视频生成方法是由金楷鑫;顾晓玲;匡振中;吴子朝设计研发完成，并于2024-11-06向国家知识产权局提交的专利申请。

本一种基于高斯泼溅的说话人脸视频生成方法在说明书摘要公布了：本发明公开了一种基于高斯泼溅的说话人脸视频生成方法，主要涉及两阶段。第一阶段使用大规模数据集预训练基于音频生成动态人脸表情系数的模型。该模型基于音频信息和图像信息，学习通用的面部表情和运动模式，能够生成与音频同步的动态面部表情系数。第二阶段，利用目标人物的数据集对预训练模型进行微调，微调完成后基于微调后的模型获取人脸表情系数，进一步训练一个基于人脸表情系数驱动的高斯形变网络来对高斯点云进行形变处理，光栅化后获得目标人物说话图像，最后两阶段模型集成，将逐帧的图像与音频内容同步合并，以实现说话人脸视频生成任务。本发明方法不仅能够快速生成未出现在数据集中的全新音频对应的动态人脸，还能在保持高生成速度的同时确保生成结果的自然性和高质量，实现了音视频同步与表情细节的高度还原。

本发明授权一种基于高斯泼溅的说话人脸视频生成方法在权利要求书中公布了：1.一种基于高斯泼溅的说话人脸视频生成方法，其特征在于，包括步骤如下： 步骤1、获取目标人物音频信息和图像信息； 步骤2、构建并预训练基于音频生成动态人脸表情系数的模型； 构建一个基于音频生成动态人脸表情系数的模型，通过使用包含面部图像和语音数据的网络数据集对模型进行预训练，利用反向传播算法优化模型参数； 步骤3、使用目标人物的人脸说话视频对基于音频生成动态人脸表情系数的模型进行微调； 步骤4、根据图像信息构建目标人物的初始高斯点云分布； 步骤5、构建基于人脸表情系数驱动的高斯形变网络并进行训练； 构建并训练一个基于人脸表情系数驱动的高斯形变网络，通过人脸表情系数得到高斯点云的形变，光栅化后获得目标人物说话图像，利用反向传播算法优化网络参数；具体实现如下： 5-1．构建基于人脸表情系数驱动的高斯形变网络，使用多分辨率三平面哈希编码器来存储目标人物的头部特征，然后使用微型全连接神经网络解码器来预测高斯点云的位移、旋转和尺度的调整； 5-2．通过多分辨率三平面哈希编码器将高斯点云的位置投影到三个二维平 面上，每个平面用来捕捉不同方向上的特征信息；为了进一步增强特征表达能力，每个二维 平面上还构建了不同分辨率的特征图层，从低分辨率到高分辨率，每个分辨率层都有一个 独立的特征图；在三个平面的不同分辨率级别的层上，通过插值和向量拼接的方法获得可 优化的头部特征，然后使用微型全连接神经网络解码器来将头部特征映射到 高斯点云的位移、旋转和尺度的调整；由于人脸表情系数不会均匀地影响整个面部图像，不 同的表情系数会影响不同的人脸部位，因此，通过对头部特征和人脸表情系数之间进行交 叉注意力机制以使得人脸表情系数更好的影响头部特征信息；为了加快交叉注意力的计算 速度，额外引入可训练的投影矩阵和将键和值映射到低维空间以降低计算开销；具体公 式表示如下： 其中，为查询，来自头部特征，键和值来自人脸表情系数，表示位移的调整，表示旋转的调整，表示尺度的调整，表示交叉注意力，表示人脸表情系数条 件，、、分别为Q、K、V的投影矩阵； 5-3.使用L1颜色损失来表示渲染图像和基准真相图像之间的每个像素的颜色, 同时，为了更精确地捕捉整体结构信息，引入了D-SSIM损失，对于嘴唇区域，额外引入了感 知损失，以进一步优化该部分的细节表现，具体损失函数如下： 其中，和是平衡系数； 使用反向传播更新模型参数； 步骤6、集成网络得到最终模型，实现基于音频的说话人脸视频生成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。