买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州第二人生科技有限公司申请的专利基于深度学习和声音克隆的实时交互3D数字全息舱方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120318437B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510803896.5，技术领域涉及：G06T17/00；该发明授权基于深度学习和声音克隆的实时交互3D数字全息舱方法是由陈宇凌;周光磊;简丽娜;杜冉设计研发完成，并于2025-06-17向国家知识产权局提交的专利申请。

本基于深度学习和声音克隆的实时交互3D数字全息舱方法在说明书摘要公布了：本发明公开了一种基于深度学习和声音克隆的实时交互3D数字全息舱方法，包括如下步骤：S1、采集用户数据并进行预处理；S2、提取面部表情和肢体动作特征向量；S3、利用改进的GE2E网络和预设的目标语音文本生成语音合成数据；S4、基于语音合成数据生成合成语音音频；S5、根据面部表情特征向量和肢体动作特征向量生成三维数字人动作序列；S6、将三维数字人动作序列和合成语音音频进行时间戳对齐，构建同步输出流；S7、对同步输出流进行渲染，进行立体可视化输出。本发明融合改进的GE2E网络、深度学习与声音克隆方法，实现三维虚拟人语音动作同步控制，具备实时性强、沉浸感高、交互自然的优点。

本发明授权基于深度学习和声音克隆的实时交互3D数字全息舱方法在权利要求书中公布了：1.一种基于深度学习和声音克隆的实时交互3D数字全息舱方法，其特征在于，包括如下步骤： S1、采集用户的面部图像、肢体动作图像和原始语音信号，并进行预处理； S2、对预处理后的面部图像和肢体动作图像进行特征提取，生成面部表情特征向量和肢体动作特征向量； S3、对所述原始语音信号进行建模，利用改进的GE2E网络生成语音音色特征向量，并对预设的目标语音文本进行编码，生成语义特征向量，并与语音音色特征向量拼接，形成语音合成数据； 所述改进的GE2E网络包含帧级特征编码模块、统计池化模块和多分支嵌出模块，所述帧级特征编码模块包括多层全连接网络和双向门控循环单元； S4、将所述语音合成数据输入至语音合成模型，生成合成语音音频； S5、将面部表情特征向量映射至三维面部肌肉控制参数向量，将肢体动作特征向量映射至三维骨骼动作控制参数向量，生成三维数字人动作序列； S6、将三维数字人动作序列和合成语音音频进行时间戳对齐，构建语音驱动与动作控制的同步输出流； S7、将所述同步输出流输入至3D数字全息舱进行渲染，实时生成与语音帧同步的三维数字人图像帧，并通过全息舱投影装置进行立体可视化输出，呈现语音与动作同步联动的虚拟人交互； 所述S4具体包括： S41、将语音合成数据输入语音合成模型的声学模块； S42、对语音合成数据使用文本编码器进行编码，生成音素级语义向量，将音素级语义向量输入持续时间预测器对每个音素预测帧持续时间，并对每个音素按照帧持续时间进行展开，生成音素序列； S43、引入语调节奏分量向量对帧持续时间进行帧级比例调控： ； 其中，表示调控后的帧持续时间，表示节奏调节因子，表示双曲正切函数，表示语调节奏分量向量，表示语调节奏方向向量，表示转置操作，表示帧持续时间； S44、对音素序列进行进一步处理，引入情绪分量向量作为控制因子，分别调控音高预测器和能量预测器，得到情绪调制后的基频向量和能量向量： ； 其中，表示第帧情绪调制后的基频向量，表示第帧调制后的能量向量，和分别表示音高预测器的基频向量和能量预测器的能量向量，和表示调节比例系数，和表示权重向量，表示情绪分量向量； S45、将情绪调制后的基频向量和能量向量以及音素序列输入至解码器，输出声学特征序列，并送入声码器模块中，进行语音波形重建，得到合成语音音频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州第二人生科技有限公司，其通讯地址为：310016 浙江省杭州市上城区钱江路509号杭港科技大厦1151室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。