江西财经大学;盛景智能科技(嘉兴)有限公司姜文晖获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江西财经大学;盛景智能科技(嘉兴)有限公司申请的专利基于视频点轨迹约束的视频描述方法与系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120375376B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510875497.X,技术领域涉及:G06V20/70;该发明授权基于视频点轨迹约束的视频描述方法与系统是由姜文晖;肖景富;方承炀;方玉明;邓辉;钱峰;赵小伟;刘扬设计研发完成,并于2025-06-27向国家知识产权局提交的专利申请。
本基于视频点轨迹约束的视频描述方法与系统在说明书摘要公布了:本发明提出一种基于视频点轨迹约束的视频描述方法与系统,该方法包括:对关键帧图像采样并利用点跟踪算法获取连续帧间像素点的时空轨迹;对同一轨迹片段对应帧的视觉特征进行平均池化操作;对文本特征、视觉特征和轨迹特征先进行语义对齐再进行多头注意力特征融合;对轨迹片段对应的视觉区域进行语义相关性得分计算并按相关性得分降序排列,累积相关性得分并设定阈值;利用语言生成损失和聚焦损失联合优化视频点跟踪模型;对聚焦优化后的多源特征进行解码,得到最终的视频描述结果。本发明通过引入视频点轨迹聚合策略,在时空维度上显式建模目标的动态特征,保留了物体的空间外观与时间连贯性,有效解决了复杂场景下语义断裂和描述片段化问题。
本发明授权基于视频点轨迹约束的视频描述方法与系统在权利要求书中公布了:1.一种基于视频点轨迹约束的视频描述方法,其特征在于,所述方法包括如下步骤: 步骤1、对视频中的关键帧图像进行采样,并利用点跟踪算法获取连续帧间像素点的时空轨迹,以构建得到视频目标的轨迹片段集合; 步骤2、基于视频目标的轨迹片段集合,对轨迹片段提取轨迹片段对应帧的视觉特征,并对同一轨迹片段对应帧的视觉特征进行平均池化操作,得到轨迹特征; 步骤3、对文本描述进行编码,得到文本特征; 步骤4、对文本特征、视觉特征以及轨迹特征,先进行语义对齐后再进行多头注意力特征融合,以得到注意力分配权重向量和经过多头注意力后对应的输出特征; 步骤5、利用注意力分配权重向量对轨迹片段对应的视觉区域进行语义相关性得分计算,得到综合轨迹相关性得分,并按相关性得分降序排列,累积相关性得分并设定阈值,得到关键轨迹; 步骤6、基于经过多头注意力后对应的输出特征构建语言生成损失,基于综合轨迹相关性得分和关键轨迹构建聚焦损失,利用语言生成损失和聚焦损失联合优化视频点跟踪模型,得到优化后的视频点跟踪模型; 利用优化后的视频点跟踪模型以获取聚焦优化后的多源特征; 步骤7、对聚焦优化后的多源特征进行解码,得到最终的视频描述结果; 在所述步骤5中,利用注意力分配权重向量对轨迹片段对应的视觉区域进行语义相关性得分计算,得到综合轨迹相关性得分,并按相关性得分降序排列,累积相关性得分并设定阈值,得到关键轨迹,具体包括如下步骤: 对视觉特征和轨迹特征进行合并,得到多源视频特征; 利用注意力分配权重向量对多源视频特征和文本特征进行语义相关性得分计算,得到多源视频特征和文本特征的相关性得分向量; 对多源视频特征和文本特征的相关性得分向量进行归一化处理,得到多源视频特征和文本特征归一化后的相关性得分向量; 对多源视频特征和文本特征归一化后的相关性得分向量进行综合轨迹相关性计算,得到综合轨迹相关性得分; 对综合轨迹相关性得分依次进行总体归一化处理和降序排序处理,得到排序后的轨迹对应的相关性得分; 对排序后的轨迹对应的相关性得分进行集合定义,得到轨迹累积集合; 基于轨迹累积集合,对排序后的轨迹对应的相关性得分进行相关性累积得分计算,得到轨迹片段相关性累积得分向量; 设定累积得分阈值,并对轨迹片段相关性累积得分向量进行筛选,得到关键轨迹; 利用注意力分配权重向量对多源视频特征和文本特征进行语义相关性得分计算,得到多源视频特征和文本特征的相关性得分向量,对应过程存在的关系式如下: ; 其中,表示多源视频特征和文本特征的相关性得分向量中的第个相关性得分,表示相关性得分总数; 在对多源视频特征和文本特征的相关性得分向量进行归一化处理,得到多源视频特征和文本特征归一化后的相关性得分向量的步骤中,对应过程存在的关系式如下: ; 其中,表示多源视频特征和文本特征归一化后的相关性得分向量,表示第1个视觉特征的归一化后的相关性得分,表示第个视觉特征的归一化后的相关性得分,表示第1个轨迹特征归一化后的相关性得分,表示第个轨迹特征归一化后的相关性得分; 在对多源视频特征和文本特征归一化后的相关性得分向量进行综合轨迹相关性计算,得到综合轨迹相关性得分的步骤中,对应过程存在的关系式如下: ; 其中,表示第条轨迹的综合轨迹相关性得分,表示综合轨迹相关性得分函数,表示第条轨迹; 在对排序后的轨迹对应的相关性得分进行集合定义,得到轨迹累积集合的步骤中,对应过程存在的关系式如下: ; 其中,表示轨迹累积集合,表示排序后第条轨迹,表示正整数集合; 在对排序后的轨迹对应的相关性得分进行相关性累积得分计算,得到轨迹片段相关性累积得分向量的步骤中,对应过程存在的关系式如下: ; 其中,表示轨迹片段相关性累积得分向量,表示第1个轨迹片段相关性累积得分,表示第个轨迹片段相关性累积得分,表示第个轨迹累积集合中第条轨迹片段,表示轨迹片段对应的综合轨迹相关性; 在设定累积得分阈值,并对轨迹片段相关性累积得分向量进行筛选,得到关键轨迹的步骤中,对应过程存在的关系式如下: ; 其中,表示关键轨迹,表示取得最大值参数的集合函数,表示累积得分阈值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西财经大学;盛景智能科技(嘉兴)有限公司,其通讯地址为:330000 江西省南昌市经济技术开发区双港东大街169号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。