石家庄铁道大学张云佐获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉石家庄铁道大学申请的专利一种运动与外观解耦的多尺度交互与语义校准视频摘要方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120812373B 。
龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511298065.3,技术领域涉及:H04N21/8549;该发明授权一种运动与外观解耦的多尺度交互与语义校准视频摘要方法是由张云佐;仇紫悦;王凯;井海明;霍磊;沙金;陈丹设计研发完成,并于2025-09-11向国家知识产权局提交的专利申请。
本一种运动与外观解耦的多尺度交互与语义校准视频摘要方法在说明书摘要公布了:本发明公开了一种运动与外观解耦的多尺度交互与语义校准视频摘要方法,属于计算机视觉技术领域。所述方法包括:对输入视频帧序列分别提取多尺度运动特征和外观特征,得到对应特征金字塔;将运动特征金字塔和外观特征金字塔输入视频摘要模型,通过模型预测初始帧级重要性分数序列;再通过双向LSTM捕捉帧间时序依赖,强化关键动作边界的分数,并通过多样性惩罚减少冗余帧,输出优化后的帧级重要性分数序列;最后通过施加时间间隔约束优化帧分布,经通过贪婪算法选择关键帧生成视频摘要。本方法有效解决现有视频摘要方法中运动与外观特征耦合、多尺度表征不足、特征融合机制简单、模态权重失衡问题,在SumMe和TVSum基准数据集上的实验结果证明了其有效性。
本发明授权一种运动与外观解耦的多尺度交互与语义校准视频摘要方法在权利要求书中公布了:1.一种运动与外观解耦的多尺度交互与语义校准视频摘要方法,其特征在于,包括以下步骤: S1:读取输入的视频帧序列,通过特征提取器分别提取多尺度的运动特征和外观特征,输出对应的运动特征金字塔和外观特征金字塔,所述特征提取器的具体构成及金字塔生成过程包括: 运动特征金字塔生成:针对视频帧序列,利用MS-RAFT+深度光流估计网络获取像素级光流信息,形成包含116、18、14、12尺度的4级运动特征金字塔; 外观特征金字塔生成:针对视频帧序列,利用预训练ResNet50网络提取基础外观特征,再利用特征金字塔网络FPN进行多尺度转换与融合,生成与运动特征金字塔匹配的4级外观特征金字塔;同时,从最高12尺度提取全局语义向量,为后续融合提供语义基准; S2:将运动特征金字塔与外观特征金字塔输入视频摘要生成模型,通过模型预测初始帧级重要性分数序列,所述视频摘要生成模型包括: 跨模态语义解耦器:所述跨模态语义解耦器是以所述运动特征金字塔与外观特征金字塔作为输入,采用注意力引导和门控机制对同一尺度的运动特征和外观特征进行解耦,输出独立语义空间的运动特征金字塔和外观特征金字塔; 动态多尺度交互模块:所述动态多尺度交互模块是以所述独立语义空间的运动特征金字塔和外观特征金字塔为输入,先对同尺度跨模态的运动特征与外观特征进行模态对齐与拼接;再通过跨尺度双向路径实现全局与局部信息互补;最后基于各尺度特征与全局语义向量的余弦相似度生成动态权重,经加权融合输出多尺度帧级融合特征; 语义一致性校准器:所述的语义一致性校准器以多尺度帧级融合特征和全局语义向量为输入,通过三重机制实现特征与全局主题对齐,首先计算各尺度帧级融合特征与全局语义向量的余弦相似度,筛选并弱化偏离主题的特征,其次对保留特征施加L2距离约束,最后依据光流梯度动态调整帧损失权重以强化时序关键位置一致性,最终输出校准后的多尺度帧级融合特征; 分数预测:基于校准后的多尺度帧级融合特征,通过加权余弦相似度计算与全局语义向量的相关性,经Sigmoid函数映射输出初始帧级重要性分数,将所有帧的初始重要性分数按时间顺序排列,即得到初始帧级重要性分数序列; S3:将所述初始帧级重要性分数序列通过双向LSTM捕捉帧间时序依赖,强化关键动作边界的分数,并通过多样性惩罚减少冗余帧,输出优化后的帧级重要性分数序列; S4:将所述优化后的帧级重要性分数序列通过施加时间间隔约束优化帧分布,最后通过贪婪算法选择关键帧,生成视频摘要。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人石家庄铁道大学,其通讯地址为:050043 河北省石家庄市长安区北二环东路17号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励