买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种基于对偶时序图的跨模态视频片段检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119597967B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411497553.2，技术领域涉及：G06F16/78；该发明授权一种基于对偶时序图的跨模态视频片段检索方法是由汪昱;赵生捷设计研发完成，并于2024-10-25向国家知识产权局提交的专利申请。

本一种基于对偶时序图的跨模态视频片段检索方法在说明书摘要公布了：本发明涉及一种基于对偶时序图的跨模态视频片段检索方法，包括：给定一个任意长的未剪辑视频和一个文本描述，将视频与文本描述输入跨模态视频片段检索模型处理，最终得到视频与文本描述的融合激活图，通过融合激活图得到与文本描述最匹配的视频片段，本发明创新性地提出了语义增强的对偶时序图框架用于文本视频片段检索。该方法通过解耦视觉内容和语义信息，分别构建增强的视觉外观图和语义图，以更精确地捕捉视频片段间的时序依赖关系。这种解耦的方式使得模型能够更好地区分具有相似视觉内容但不同语义的片段。

本发明授权一种基于对偶时序图的跨模态视频片段检索方法在权利要求书中公布了：1.一种基于对偶时序图的跨模态视频片段检索方法，其特征在于，构建一个跨模态视频片段检索模型，基于该模型进行视频片段检索，具体包括以下步骤： 步骤S1：给定一个任意长的未剪辑视频和一个文本描述，将视频与文本描述输入跨模态视频片段检索模型； 步骤S2：检索模型通过GloVe算法和双向的长短期记忆网络模型提取文本描述的语言特征； 步骤S3：将未剪辑视频经过采样处理，得到多个视频片段，通过I3D模型与两个并行的最大池化-卷积-线性整流激活网络处理，分别得到多个视频片段对应的视觉表征与语义表征； 步骤S4：利用视觉表征生成外观时序图，利用语义表征生成语义时序图； 步骤S5：利用动作感知机制对外观时序图与语义时序图进行处理，提高外观时序图与语义时序图的判别力，得到动作感知外观时序图与动作感知语义时序图； 步骤S6：将步骤S2得到的文本描述语言特征分别与动作感知外观时序图和动作感知语义时序图进行融合，分别得到文本感知外观时序图和文本感知语义时序图； 步骤S7：将文本感知的外观时序图和文本感知的语义时序图分别输入两个卷积核大小为K的L个卷积层中，然后经过Sigmoid激活函数，分别生成外观激活图和语义激活图，将外观激活图和语义激活图通过平均操作得到融合激活图； 步骤S8：选取融合激活图中具有最大有效分数的候选索引，输出候选索引对应的视频片段，作为与文本描述最匹配的视频片段； 所述步骤S5中外观时序图与语义时序图的处理方式相同，统一用表示时序图；所述步骤S5的具体步骤包括： 步骤S51：平均时序图第一维度的值，得到，平均时序图第二维度的值，得到； 步骤S52：将和输入一个卷积层和一个Sigmoid层中，得到注意力分数和； 步骤S53：将与作为权重对原始的时序图进行加权，计算方式为： 其中，为基于Python中广播机制的逐元素相乘； 利用上述步骤分别对外观时序图与语义时序图进行处理，分别得到动作感知外观时序图与动作感知语义时序图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。