长江龙新媒体有限公司席鲁江获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉长江龙新媒体有限公司申请的专利一种行为驱动的3D虚拟影像生成方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120411311B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510872982.1,技术领域涉及:G06T13/20;该发明授权一种行为驱动的3D虚拟影像生成方法及系统是由席鲁江;唐陆峰;陈莉;耿恒杰;余洪;曲科籍;胡燕设计研发完成,并于2025-06-27向国家知识产权局提交的专利申请。
本一种行为驱动的3D虚拟影像生成方法及系统在说明书摘要公布了:本发明涉及虚拟影像生成技术领域,公开了一种行为驱动的3D虚拟影像生成方法及系统,包括:通过视觉传感器,对目标检测进行连续帧的图像采集;对每一帧图像使用基于深度学习的关键点检测算法,识别行为主体的二维关键点坐标;将二维关键点坐标映射到三维的虚拟对象上,构建三维关键点坐标;通过对二维关键点识别过程和映射过程的重演,将三维关键点坐标赋予震动的状态量;根据行为主体的行为驱动,对三维的虚拟对象进行行为模仿。在关键点映射精度、动作连贯性、细节丰富性及整体仿真自然度等方面,均优于现有技术,具有较高的技术推广价值和应用前景。
本发明授权一种行为驱动的3D虚拟影像生成方法及系统在权利要求书中公布了:1.一种行为驱动的3D虚拟影像生成方法,其特征在于,包括: 通过视觉传感器,对检测目标进行连续帧的图像采集;对每一帧图像使用基于深度学习的关键点检测算法,识别行为主体的二维关键点坐标; 将二维关键点坐标映射到三维的虚拟对象上,构建三维关键点坐标;通过对二维关键点识别过程和映射过程的重演,将三维关键点坐标赋予震动的状态量; 根据行为主体的行为驱动,对三维的虚拟对象进行行为模仿;在行为驱动的同时,通过所述震动的状态量,对虚拟影像的模仿行为进行适应; 所述震动的状态量包括,震动的核心位置和震动的量子态位置; 所述基于深度学习的关键点检测算法包括,将当前帧图像送入预训练的深度神经网络中,逐层提取图像中的局部纹理特征、边缘特征、结构特征,得到中间特征图;网络在特征图基础上,针对每个关键点,生成一个热力图; 在任意关键点L的热力图中,每个坐标位置上的值表示每个像素点为关键点L的概率; 对于每个热力图,输出概率值最大的坐标位置作为关键点位置; 所述映射过程包括,将当前帧的二维关键点集合和上一帧的三维关键点集合,作为输入;通过训练好的多层感知机网络,输出当前帧的三维关键点集合; 在训练过程中,针对连续帧图像中提取的关键点集合,在多层感知机网络中引入可训练的注意力权重矩阵;所述注意力权重矩阵根据每两个关键点之间连线在前后帧之间的角度变化特征进行训练,动态调整每两个关键点之间的连线,从而控制对网络输出结果的贡献; 所述对二维关键点识别过程和映射过程的重演包括,基于二维关键点检测过程中生成的热力图信息,推测每个关键点位置的不确定性分布;遍历所有关键点,在每个关键点的所述不确定性分布中,任取一个像素位置作为组合中的元素,构成待定的关键点组合;对所述待定的关键点组合进行组合筛选后,对每个筛选后的关键点组合,分别执行关键点的映射过程; 所述不确定性分布包括,对每个关键点预设n×n的坐标位置矩阵;n为奇数;将对应关键点的热力图进行网格化分割处理,将热力图区域划分为若干单元格,每个单元格对应一个n×n的坐标位置矩阵; 每个单元格的特征值等于:单元格的所有坐标位置上,值的平均数; 筛选所有特征值大于阈值K的单元格,将每个单元格的中间坐标位置作为关键点的一种不确定性位置;使每个关键点的所有不确定位置共同组成关于每个关键点的不确定性分布; 其中,K表示每个关键点预设的判断阈值; 所述组合筛选包括,利用贝叶斯算法对所述待定的关键点组合中,任意两个元素进行相对位置的分析,分析结果输出是否合理;若所述待定的关键点组合中,存在两个元素,经过贝叶斯算法分析后,输出结果为不合理,则剔除组合;若所述待定的关键点组合中,任意两个元素,经过贝叶斯算法分析后,输出结果均为合理,则通过筛选; 完成对二维关键点识别过程和映射过程的重演后,得到m个三维的关键点组合;其中,任意一个三维的关键点组合中,所有关键点的三维坐标,表示所有关键点震动的一个量子态位置;在一个关键点的量子态发生变化时,其他关键点根据所述三维的关键点组合,进行同步变化; 所述震动的量子态位置包括,在m个三维的关键点组合中,对于同一关键点S的不同三维坐标; 所述震动的核心位置包括,在第一次将二维关键点坐标映射到三维的虚拟对象时,每个关键点的三维坐标; 所述对虚拟影像的模仿行为进行适应包括,分别对震动的核心位置和量子态位置进行适应性分析,输出适应性最小的三维关键点集合,作为当前帧最终的三维关键点集合; 在对震动的核心位置进行适应性分析时,获取第一次将二维关键点坐标映射到三维的虚拟对象时得到的三维关键点集合,作为适应性分析的模型输入;在对震动的量子态位置进行适应性分析后,通过对二维关键点识别过程和映射过程的重演,得到三维的关键点组合; 所述行为模仿包括,根据行为驱动阶段生成的三维虚拟对象关键点位置变化信息,进行姿态重建,生成连续的三维骨架动画;将三维骨架动画映射至虚拟对象的表面模型,控制表面网格顶点的空间运动,实现形体动作仿真。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人长江龙新媒体有限公司,其通讯地址为:210000 江苏省南京市北京东路4号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。