华南理工大学储昭结获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南理工大学申请的专利一种基于面部肌肉联动的语音驱动面部动画模拟方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119579742B 。
龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411722697.3,技术领域涉及:G06T13/40;该发明授权一种基于面部肌肉联动的语音驱动面部动画模拟方法是由储昭结;徐向民;邢晓芬;郭锴凌设计研发完成,并于2024-11-28向国家知识产权局提交的专利申请。
本一种基于面部肌肉联动的语音驱动面部动画模拟方法在说明书摘要公布了:本发明公开了一种基于面部肌肉联动的语音驱动面部动画模拟方法,属于人工智能领域,包括步骤:S1,构建PPMF编码器;S2,构建基于FDCP的解码器来解码PPMF提供的FP特征,以获取面部动画;S3,训练语音驱动的3D人脸动画框架DCPTalk;S4,模型优化;S5,模型定量评价。本发明提出了DCPTalk框架,并基于面部肌肉群的联动特性,提出了Mouth2Face。嘴部运动与语音信号相关性强,很容易与声道动力学合成。为了进一步增强面部运动的细节,采用RefineDecoder模拟表层的皮肤形变去细化面部动画。将固有的身体特征与面部肌肉群运动相关的身体特性嵌入到Mouth2Face,构建个性化的面部肌肉控制系统,同时利用说话风格调制外部的驱动信号。通过定性和定量实验以及用户研究表明,DCPTalk优于现有的最先进的方法。
本发明授权一种基于面部肌肉联动的语音驱动面部动画模拟方法在权利要求书中公布了:1.一种基于面部肌肉联动的语音驱动面部动画模拟方法,其特征在于,包括步骤: S1:构建PPMF编码器,所述PPMF编码器由音频特征提取器和伪面部关键点提取器构成,利用类似于Transformer解码器的模块融合和对齐个性化的伪面部关键点特征FL和音频特征FA; S2:构建基于FDCP的解码器来解码PPMF提供的FP特征,以获取面部动画,该解码器由MouthMapping、Mouth2Face和RefineDecoder构成;其中从驱动信号中合成嘴部动作、利用嘴部动作来唤起面部动画以及细化面部动画,这三个阶段分别由MouthMapping、Mouth2Face和RefineDecoder实现; S3:训练语音驱动的3D人脸动画框架DCPTalk,先使用损失函数训练Mouth2Face模块,以建立嘴运动和面部动画之间的映射规则;然后固定训练好的Mouth2Face的参数,开始训练DCPTalk的其他组件,并分别给出了训练Mouth2Face和其他组件的损失函数;其中损失函数包括重建损失速度损失和面部关键点损失 S4:模型优化,引入BIWI、Multiface和VOCASET对DCPTalk提供全面的分析和优化,并将VOCA,MeshTalk,FaceFormer,CodeTalker,FaceDiffuse,DiffSpeaker, TalkingStyle和SelfTalk都与本发明的方法进行比较;然后在单张NVIDIAA100GPU上训练DCPTalk; S5:模型定量评价,依据FaceFormer、CodeTalker和SelfTalk的方法,通过计算唇部顶点误差LVE,评估语音内容和嘴唇运动之间的同步性。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南理工大学,其通讯地址为:510641 广东省广州市天河区五山路381号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。