融梦跃视(上海)体育科技有限公司苏晓伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉融梦跃视(上海)体育科技有限公司申请的专利一种基于运动感知和语义理解的实时多人运动分析系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119360454B 。
龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411961641.3,技术领域涉及:G06V40/20;该发明授权一种基于运动感知和语义理解的实时多人运动分析系统是由苏晓伟;谢雪峰;李铁;袁淇设计研发完成,并于2024-12-30向国家知识产权局提交的专利申请。
本一种基于运动感知和语义理解的实时多人运动分析系统在说明书摘要公布了:本发明涉及计算机视觉和人工智能领域,尤其涉及一种基于运动感知和语义理解的实时多人运动分析系统,包括运动感知模块、运动跟踪模块、运动语义理解模块和运动表现分析模块。运动区域分割单元采用背景建模或帧间差分方法,识别运动区域,并生成运动掩码;目标检测单元通过数据总线与中央处理器连接,用于处理视频帧数据,检测运动目标的位置和边界框。运动区域分割单元与目标检测单元连接,用于生成运动掩码。本发明通过集成多个模块,能够全面捕捉和分析运动数据,提高了运动分析的准确性和实时性。目标检测单元和运动区域分割单元的结合,使得系统能够精确识别运动目标和区域,为后续的跟踪和分析打下坚实基础。
本发明授权一种基于运动感知和语义理解的实时多人运动分析系统在权利要求书中公布了:1.一种基于运动感知和语义理解的实时多人运动分析系统,其特征在于,包括运动感知模块、运动跟踪模块、运动语义理解模块和运动表现分析模块,所述的运动感知模块与运动跟踪模块电连接,实现数据的实时传输和处理; 所述的运动感知模块包括目标检测单元和运动区域分割单元,目标检测单元利用轻量级卷积神经网络从视频帧序列中提取图像特征,并检测运动目标的位置和边界框,运动区域分割单元采用背景建模或帧间差分方法,识别运动区域,并生成运动掩码; 目标检测单元通过数据总线与中央处理器连接,用于处理视频帧数据,检测运动目标的位置和边界框,运动区域分割单元与目标检测单元连接,用于生成运动掩码; 所述的运动跟踪模块包括运动感知记忆选择单元和卡尔曼滤波器单元,运动感知记忆选择单元通过计算当前帧预测的掩码与历史帧记忆中的掩码之间的IoUIntersectionoverUnion分数,计算目标出现分数,计算卡尔曼滤波器预测的IoU分数,选择与当前帧最相关的历史帧作为记忆信息,其具体通过下式得到; 其中,AreaofOverlap是两个掩码重叠区域的面积,AreaofUnion是两个掩码的并集面积; 运动感知记忆选择单元输出掩码亲和度分数、目标出现分数和卡尔曼滤波器预测的IoU分数,卡尔曼滤波器单元利用卡尔曼滤波器对目标运动轨迹进行建模,预测目标在下一帧的位置和尺寸; 卡尔曼滤波器单元的状态向量定义为: 其中,x和y表示边界框中心的坐标; w和h表示边界框的宽度和高度; 分别表示边界框中心坐标、宽度和高度的速度; 卡尔曼滤波器的预测和更新步骤如下: 预测: 其中,F是状态转移矩阵,xt是时间t的状态向量,是时间t+1的预测状态向量 更新: Kt=Pt·HT·H·Pt·HT+R-1 其中,Kt是卡尔曼增益,用于调整预测状态向量以匹配观测值; Pt是时间t的预测协方差矩阵; H是观测矩阵,将状态向量映射到观测空间; R是观测噪声协方差矩阵; zt是时间t的观测值; xt+1是时间t+1的更新状态向量; 运动感知记忆选择单元和卡尔曼滤波器单元实现数据的实时处理和跟踪结果的生成; 所述的运动跟踪模块还包括多目标轨迹预测单元,多目标轨迹预测单元基于卡尔曼滤波器的预测结果,使用RNN模型预测多个目标的未来轨迹,提高跟踪的稳定性和准确性,多目标轨迹预测单元实时预测和调整目标的运动轨迹; 其中,RNN模型结构包括输入层、RNN层和输出层,所述的输入层接收来自卡尔曼滤波器单元的状态向量,包括位置、尺寸及其速度信息,RNN层使用LSTM作为RNN的核心处理序列数据,并捕捉长期依赖关系,所述的输出层预测未来帧中目标的位置和尺寸; 在RNN模型的训练阶段时,使用历史轨迹数据训练RNN模型,具体为将卡尔曼滤波器的状态向量和观测值作为输入,目标位置和尺寸作为输出,在测试阶段时,卡尔曼滤波器的预测结果作为RNN的输入,RNN预测未来轨迹,并将结果反馈给卡尔曼滤波器进行状态更新,后利用反向传播通过时间算法进行训练,优化RNN的权重,以最小化预测误差; 所述的运动语义理解模块包括多模态数据融合单元、运动视频语义描述单元和时空关系理解单元,多模态数据融合单元将运动数据和视频数据作为输入,采用统一的多模态训练策略进行训练,运动数据采用SMPL模型参数化表示,视频数据采用预训练的卷积神经网络提取图像特征,多模态数据融合单元实现数据的融合和训练; 运动视频语义描述单元利用预训练语言模型对运动视频进行语义描述,生成自然语言描述,运动视频语义描述单元与多模态数据融合单元连接,运动视频语义描述单元输出语义描述结果; 时空关系理解单元利用语言模型的推理能力,分析运动视频中的时空关系,识别动作顺序、方向变化、目标意图,时空关系理解单元与运动视频语义描述单元连接,时空关系理解单元输出时空关系分析结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人融梦跃视(上海)体育科技有限公司,其通讯地址为:200232 上海市徐汇区丰谷路315弄24号1-4层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。