买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津理工大学;山东省人工智能研究院申请的专利一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117332117B 。

龙图腾网通过国家知识产权局官网在2026-03-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311267035.7，技术领域涉及：G06F16/783；该发明授权一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法及系统是由高文杰;周冕;赵一博;马春杰;高赞设计研发完成，并于2023-09-28向国家知识产权局提交的专利申请。

本一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法及系统在说明书摘要公布了：本发明属于计算机视觉和模式识别技术领域，尤其涉及一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法及系统，方法的具体步骤如下：选择特征提取网络；粗粒度的感知；跨模态对应匹配；数据集解偏置；选择表示生成；细粒度的特征编码器；条件交互模块；选择比较模块。本发明将片段检索作为一项多项选择阅读理解任务，并将人类阅读策略整合到该框架中，以此实现了较好的性能，本发明基于跨模态对应匹配去纠正错误的匹配结果，通过数据集解偏置来解决由于不平衡的数据分布导致的错误预测问题，以获得更精确的视频片段检索结果。

本发明授权一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法及系统在权利要求书中公布了：1.一种基于跨模态对应匹配和数据集解偏置的视频片段检索方法，其特征是：包括以下步骤： 步骤1.选择特征提取网络 对于输入的视频，通过选择预训练的网络去提取每个片段的特征，对于给定的语言查询，用一个预训练的300维度的向量训练模型Glove模型去编码每一个单词； 步骤2.粗粒度的感知 在步骤1的网络基础上，把视频和句子的嵌入喂进一个粗粒度的编码器中，并且使用共同注意力机制将它们结合来获得一个初步的对齐特征； 步骤3.跨模态对应匹配 使用自然语言处理spacy工具包去分离一句话中的名词和动词，并且把视频分解为时序和空间特征，将名词和空间特征相匹配，动词和时序特征相匹配； 步骤3的具体操作如下： 首先使用spacy工具包将一句话中的动词和名词分离，获得动词掩码和名词掩码后，分别用动词掩码和名词掩码乘以文本特征得到动词文本特征和名词文本特征，然后对经过视频编码器的特征进行位置编码，获得视频时序特征，将总特征减去时序特征获得视频空间特征，最后在动词文本特征与视频时序特征、名词文本特征与视频空间特征之间计算一个MSE损失； 语言查询为，代表句子中第n个单词，代表句子的长度； 使用spacy工具包分析句子中单词的词性，获取动词掩码以及名词掩码，R代表集合实数集，表示维度为的实数型矩阵； 在粗粒度的特征编码器中，经过查询编码器的文本特征为，经过视频编码器的视频特征为，然后将文本特征与动词掩码相乘得到动词文本特征，将文本特征与名词掩码相乘得到名词文本特征，表示维度为的实数型矩阵，表示维度为的实数型矩阵； =⊙ =⊙ 为动词文本特征，为名词文本特征，⊙代表逐个元素相乘； 对视频特征进行位置编码，并且应用一维卷积去获得细粒度的时序信息特征表示： 代表时序信息特征，代表位置编码，表示激活函数，表示批量归一化，表示一维卷积； 将视频特征减去时序信息特征得到了空间信息特征： 为空间信息特征； 有了动词文本特征与时序信息特征、名词文本特征与空间信息特征之后，分别将它们变换到相同的维度进行损失计算： 为均方损失函数，为时序信息特征与动词文本特征之间的损失，为空间信息特征与名词文本特征之间的损失，表示相加函数，表示归一化指数函数，表示线性层，表示维度为的实数型矩阵； 因此，跨模态对应匹配模块总损失为： ； 步骤4.数据集解偏置 判断视频数据集中视频实例的结束位置，若小于视频长度的三分之一，则实例的位置偏靠前，从所有偏靠前的实例中抽取其中的二分之一向后移位视频长度的二分之一； 步骤5.选择表示生成 在步骤2的网络基础上，用初步对齐的视频特征去生成内容级和边界级的片段特征； 步骤6.细粒度的特征编码器 在步骤2的网络基础上，遵循使用在阅读理解中的重读策略并且深入的编码视频和查询特征来得到细粒度的模态内的特征； 步骤7.条件交互模块 在步骤6的网络基础上，将内容级和边界级的片段特征与经过细粒度编码器的特征结合去获得一个增强的对齐片段特征； 步骤8.选择比较模块 在步骤7的网络基础上，进一步应用一个选择比较模块来帮助区分相似的片段，最终通过一个选择排序器去检索在候选集中最相关的视频片段。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津理工大学;山东省人工智能研究院，其通讯地址为：300000 天津市西青区宾水西道391号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。