杭州电子科技大学韩婷婷获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于跨模态扰动特征的视频检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117290541B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311318263.2,技术领域涉及:G06F16/73;该发明授权一种基于跨模态扰动特征的视频检索方法是由韩婷婷;吕源馨;俞俊;范建平设计研发完成,并于2023-10-12向国家知识产权局提交的专利申请。
本一种基于跨模态扰动特征的视频检索方法在说明书摘要公布了:本发明公开了一种基于跨模态扰动特征的视频检索方法,属于视频检索领域,该方法首先数据预处理,提取视频特征和查询特征。其次构建候选片段生成模块,进行特征融合。最后构建重构模块,输出并评价视频检索结果,并进行训练。本发明显着提高了视频检索的性能,在不依赖时间边界的弱监督下,更有效地对视频检索。
本发明授权一种基于跨模态扰动特征的视频检索方法在权利要求书中公布了:1.一种基于跨模态扰动特征的视频检索方法,其特征在于,包括如下步骤: 步骤1、视频数据预处理,提取视频特征和查询特征; 步骤2、构建候选片段生成模块,进行特征融合,具体过程如下: 首先,在跨模态融合之前引入扰动机制:将步骤1得到的视频特征对其中vk段应用扰动操作,得到如下公式: 表示扰动后的特征,Π·表示扰动操作,视频V的扰动特征由表示; 其次,候选片段生成模块构建一个二维特征图增强特征的表达能力,二维特征图包含来自两种模态的特征;在所述二维特征图,来自一种模态的每个单位长度特征与来自另一种模态的所有特征进行交互:通过填充操作将查询特征T填充得到与视频特征的长度对齐,从而得到二维特征图表示DV,DT分别代表视频特征维度和查询特征维度;同样地,通过对视频特征的扰动,得到扰动后的二维特征图具体用如下公式计算: M=V·TN,M*=V*·TN 然后,使用视觉转换器VIT处理二维特征图M和M*,并对沿对角线的每个元素应用一个卷积操作,得到长度为N的混合特征集合; 最后,使用视觉转换器表示视频特征和文本特征之间的多模态交互,并提取表示为混合语义特征H={h1,h2,...,hN,hcls},hcls表示与所有特征交互的特征,并用于计算候选特征的位置;H的计算表示如下: H=DpatchM,EpatchM 其中,E·和D·分别表示转换器的编码器和解码器,patch·表示上文中改进的补丁操作;同样地,使用相同的操作处理使用扰动特征构建的M*,得到H*;使用混合语义特征H中的hcls和计算分布中心和分布宽度K代表生成候选特征的个数,N代表视频长度,根据以下公式生成候选特征概率掩码: 其中,σ为超参数; 将多样性损失应用于通过上述公式获得的候选特征概率掩码m,得到多样性损失: 其中,‖·‖F代表了矩阵的F范数,超参数λ∈[0,1]控制候选片段之间的重叠程度; 步骤3、构建重构模块,输出视频检索结果,并构造损失函数进行训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市钱塘区白杨街道2号大街1158号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励