买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东金东数字创意股份有限公司申请的专利一种三维形象发音过程头部动作模拟方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116246649B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211671532.9，技术领域涉及：G10L21/10；该发明授权一种三维形象发音过程头部动作模拟方法是由周安斌;晏武志;李鑫;彭辰;潘见见设计研发完成，并于2022-12-26向国家知识产权局提交的专利申请。

本一种三维形象发音过程头部动作模拟方法在说明书摘要公布了：本发明提供了一种三维形象发音过程头部动作模拟方法，属于三维虚拟形象技术领域，该三维形象发音过程头部动作模拟方法从视频库中获取人脸视频及对应的音频，将视频帧和音频帧对齐，提取多帧的人脸图像、头部姿态参数和梅尔频谱作为训练样本；对人脸图像进行预处理，生成擦除嘴部后的面部图像；建立三维形象头部模型并利用训练样本对三维形象头部模型进行训练，所述的三维形象头部模型包括音频特征提取模块、唇形同步模块、嘴部生成模块、头部姿态模块以及融合模块；利用训练好的三维形象头部模型，生成针对特定音频下的三维形象头部模型；本方法极大的降低了计算量，同时使得头部姿态与发音具有良好的联动，避免了三维形象发音过程呆板的现象。

本发明授权一种三维形象发音过程头部动作模拟方法在权利要求书中公布了：1.一种三维形象发音过程头部动作模拟方法，其特征在于，包含以下步骤： S10：从视频信号库中获取人脸视频及对应的音频，将视频帧和音频帧对齐，提取多帧的人脸图像、头部姿态和梅尔频谱作为训练样本；对人脸图像进行预处理，生成擦除嘴部后的面部图像； S20：建立三维形象头部模型并利用训练样本对三维形象头部模型进行训练，所述的三维形象头部模型包括音频特征提取模块、唇形同步模块、嘴部生成模块、头部姿态控制模块、以及融合模块，其中： 所述音频特征提取模块用于对S10得到的梅尔频谱进行特征提取，生成最终音频特征； 所述唇形同步模块用于根据最终音频特征生成多级唇形图像特征，并根据最后一级唇形图像特征生成唇形图像，计算生成的唇形图像与人脸图像样本中的唇形图像之间的唇形损失，所述的唇形损失包括均方误差损失和对比损失； 所述嘴部生成模块用于根据多级唇形图像特征生成多级嘴部图像特征，并根据最后一级嘴部图像特征生成嘴部图像，计算生成的嘴部图像与人脸图像样本中的嘴部图像之间的嘴部损失，所述的嘴部损失使用均方误差损失； 所述头部姿态控制模块用于根据中心点生成头部图像特征； 所述的融合模块用于将头部图像特征和多级嘴部图像特征融合到S10中所述的擦除嘴部后的面部图像中，计算融合损失，所述的融合损失使用PCONV网络对应的融合损失；并根据唇形损失、嘴部损失、融合损失的加权损失之和更新三维形象头部模型的参数； S30：利用训练好的三维形象头部模型，生成针对特定音频下的三维形象头部模型； 其中，所述视频信号库的建立方法为： 步骤一：在实验人员的鼻尖处贴敷有反光外壁的塑料小球，在实验人员头部姿态关键点处贴敷黑色小纸片； 步骤二：在实验人员的正对面设置摄像机，在实验人员脸部两侧设置信号发射端和接收端，其中信号发射端和接收端于所述塑料小球成一条直线，所述信号发射端和接收端间距1m； 步骤三：以摄像机中心点为中心，建立三维坐标系，并开启信号发射端发出信号，开启摄像机，实验人员进行朗读； 步骤四：实验人员朗读完毕后，将摄像机录制的人脸音视频及其对应接收端接收到的信号数据保存到视频信号库； 其中，所述S10具体包括： 获取视频信号库中的视频，所述视频中的每一帧均包含完整的人脸图像，且包含人物说话的音频； 根据视频对应的接收端接收到的信号数据判断实验人员的头部姿态是否发生变更； 若实验人员的头部姿态未发生变更，则对视频中的所有帧提取人脸图像集合，截取人脸图像中的唇形部分作为样本唇形图像； 若实验人员的头部姿态未发生变更，则对视频中所有帧提取塑料小球图像，在三维坐标系中建立塑料小球的三维坐标，并利用音素口型驱动法中的对应唇形作为样本唇形图像； 构建嘴部擦除网络，从人脸图像集合中随机取出部分人脸图像并标记嘴部位置，对嘴部擦除网络进行训练，利用训练后的嘴部擦除网络对未标记嘴部位置的人脸图像进行嘴部位置识别并擦除，保留面部图像； 将时域的音频转化为频域的梅尔频谱，频域采样率与视频帧采样率一致； 其中，所述步骤“根据视频对应的接收端接收到的信号数据判断实验人员的头部姿态是否发生变更”具体包括： 步骤1：对接收端接收到的信号进行数据处理； 步骤2：使用扩展卡尔曼滤波方法实现小球检测； 步骤3：利用所得的多径时延联合估计值计算得到似然比比值，利用所得的似然比比值与检测阈值进行比较，得到小球位置是否发生变更的检测结果； 步骤4：若小球位置发生变更，则判定实验人员头部姿态发生变更；若小球位置未发生变更，则判定实验人员头部姿态未发生变更。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东金东数字创意股份有限公司，其通讯地址为：266000 山东省青岛市市南区银川西路67、69号青岛国际动漫产业园E座409、410室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。