哈尔滨工业大学;黑龙江广播电视台姚鸿勋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学;黑龙江广播电视台申请的专利一种针对多事件实例视频的时序事件检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115512272B 。
龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211223332.7,技术领域涉及:G06V20/40;该发明授权一种针对多事件实例视频的时序事件检测方法是由姚鸿勋;王力凝;岳晓光;杨浩森;侯云峰;李莹;张秀丽设计研发完成,并于2022-10-08向国家知识产权局提交的专利申请。
本一种针对多事件实例视频的时序事件检测方法在说明书摘要公布了:本发明公开了一种针对多事件实例视频的时序事件检测方法,所述方法包括如下步骤:一、获取视频数据;二、构建视频特征提取模型;三:使用视频特征提取模型进行特征提取,得到视频帧特征向量组;四:对视频帧特征向量所对应的标注文件进行修正,得到帧级标注与片段级标注;五:构建事件边界预测模型;六:构建多实例判别模型;七:构建视频片段交互模型;八:训练事件边界预测模型、多实例判别模型和视频片段交互模型,得到联合模型;九:调用联合模型对视频进行目标事件检测。本发明通过视频特征建模以及对比学习策略提升了时序事件检测的准确性,解决了当前复杂视频场景多实例问题易误判、漏判问题,能够大幅度地提高时序事件检测的性能。
本发明授权一种针对多事件实例视频的时序事件检测方法在权利要求书中公布了:1.一种针对多事件实例视频的时序事件检测方法,其特征在于所述方法包括如下步骤: 步骤一、获取视频数据,所述视频数据包含各视频及各视频所包含的目标事件的开始时间与结束时间的标注文件; 步骤二、构建基于动作识别的视频特征提取模型; 步骤三:对步骤一获取的视频数据进行视频预处理,随后使用视频特征提取模型进行特征提取,得到视频帧特征向量组; 步骤四:对步骤三得到的视频帧特征向量组所对应的标注文件进行修正,将标注文件与特征向量组上的位置对齐,得到适用于特征向量的帧级标注与片段级标注; 步骤五:构建以编码器-解码器结构为主干的事件边界预测模型,具体步骤如下: 步骤五一、获得输入数据,事件边界预测模型的输入来源于步骤三中获得的视频帧特征向量组; 步骤五二、构建编码器-解码器的深度学习网络结构,向编码器提供视频特征向量组,编码器获取视频特征向量组后,对其中的特征向量之间进行信息交互,生成视频特征向量组的全局语义信息;解码器的输入有两项,分别为视频特征向量组与全局语义信息,通过全局语义信息更新视频特征向量组,产生对事件的开始与结尾更有表征意义的; 步骤五三、构建一个边界分类器,边界分类器通过解码器的输出信息对视频事件的边界进行预测,得到边界置信度; 步骤六:构建基于对比学习选择的多实例判别模型,具体步骤如下: 步骤六一、进行边界采样: a、划分事件实例的边界区域,给定事件实例,、分别为事件开始时间与结束时间,则事件开始和结束区域定义为: ; 其中,,表示第个事件实例,是控制区域大小的超参数; b、对步骤三得到的视频帧特征向量组进行采样构成正负例样本对,在同实例的开始区域和结束区域分别采样出特征向量、,组成正样本对,在不同实例的边界区域开始区域和结束区域分别采样出特征向量、,组成负样本对; 步骤六二、构建对比学习方案,构建多实例判别模型的优化目标为,其中,为相似度计算函数,为度量距离; 步骤六三、利用优化目标更新边界区域特征向量的嵌入表示,使相同实例的嵌入表示相接近,不同实例的嵌入表示相远离,将更新的特征向量组命名为实例级特征向量组,实例级特征向量组包括事件开始向量组、事件结束向量组; 步骤七:构建视频片段交互模型,具体步骤如下: 步骤七一、视频片段交互模型的输入是视频帧特征向量组,在视频时序上进行滑动窗口操作生成不同尺度的视频片段; 步骤七二、对于步骤七一生成的多尺度片段,从步骤三得到的视频帧特征向量组通过差值采样统一到相同长度,获得多尺度的片段级特征;构建一个深度学习模型对片段级特征进行信息交互; 步骤七三、构建一个段落分类器为每个片段计算其中包含的目标事件或背景的置信度; 步骤八:使用步骤四得到的标注文件联合训练事件边界预测模型、多实例判别模型和视频片段交互模型,得到事件边界预测模型、多实例判别模型和视频片段交互模型的联合模型,具体训练步骤如下: 步骤八一、使用帧级标注文件训练事件边界预测模型,制定损失函数1:,并计算损失1; 步骤八二、使用片段级标注文件训练事件视频片段交互模型,制定损失函数2:,并计算损失2; 步骤八三、使用对比学习策略训练多实例判别模型,制定损失函数3:,并计算损失3; 步骤八四、计算累积的损失1、损失2、损失3,得到总体损失为,其中用于控制三个模型的训练权重,通过梯度下降算法对上述三个模型进行训练; 步骤九:调用步骤八训练好的联合模型对视频进行目标事件检测。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学;黑龙江广播电视台,其通讯地址为:150001 黑龙江省哈尔滨市南岗区西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励