北京大学刘洋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京大学申请的专利一种弱监督视频时间定位方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116561369B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210105568.4,技术领域涉及:G06F16/732;该发明授权一种弱监督视频时间定位方法和系统是由刘洋;郑明航;黄彦杰;陈庆超;彭宇新设计研发完成,并于2022-01-28向国家知识产权局提交的专利申请。
本一种弱监督视频时间定位方法和系统在说明书摘要公布了:本发明涉及一种弱监督视频时间定位方法和系统。该方法包括:对视频、查询语句用预训练模型分别提取特征;将视频和语言两个模态的信息进行融合,预测端到端可学习的高斯掩模并视为正样本,将视频中被高斯掩模抑制的部分认为是简单负样本,将整段视频认为是困难负样本;引入基于掩模的注意力机制,收集被掩模着重强调的视频帧的上下文信息;使用基于掩模的注意力机制,配合重建损失函数,对原始查询语句进行重建;设计了视频内对比损失函数,让正负样本的区别更加明显。本发明中使用的端到端可学习的高斯掩模,可以让正样本生成的效率和质量更高;同时本发明中涉及到的负样本学习难度更大,有助于模型在更加复杂的场景中更准确地完成定位工作。
本发明授权一种弱监督视频时间定位方法和系统在权利要求书中公布了:1.一种弱监督视频时间定位方法,其特征在于,包括以下步骤: 对视频和查询语句用预训练模型分别提取特征;在特征提取后,视频表示为,查询语句表示为,其中,是视频帧数,是视频特征维度,是查询语句的单词数,是单词特征维度; 将视频和查询语句分别提取的特征进行融合,预测端到端可学习的高斯掩模,将视频中高斯掩模处理的部分视为正样本,将视频中被高斯掩模抑制的部分视为简单负样本,将整段视频视为困难负样本; 利用基于掩模的注意力机制收集被掩模着重强调的视频帧的上下文信息; 利用基于掩模的注意力机制,配合重建损失函数,对查询语句进行重建,并认为与查询语句最匹配的视频片段能最好地重建查询语句,将重建损失最小的视频片段作为视频时间定位结果; 所述基于掩模的注意力机制,将Transformer中传统的注意力机制更换成基于掩模的注意力模型,并且保持其他组件不变;所述基于掩模的注意力模型包含编码器和解码器,其将任意的掩模作为输入,并且限制掩模着重表示的帧的注意力; 所述编码器将掩模和视频特征作为输入,在掩模强调的帧特征之间交换信息;首先,使用一个全连接层,将投影到注意力中的Query,Key,Value元素上;接着,计算和之间的相似性,得到注意力图;为了限制掩模着重强调的帧的注意力,将乘到的每一行上去,经过依次在每一行进行的Softmax操作,注意力图再和相乘,其输出的聚合的上下文信息通过如下公式计算得到: 其中,表示将会被乘到的每一行; 所述解码器将掩模、查询特征以及的输出作为输入,并收集掩模着重强调的帧和每一个单词的特征之间的上下文信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京大学,其通讯地址为:100871 北京市海淀区颐和园路5号北京大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励