买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院合肥物质科学研究院;合肥学院;池州学院申请的专利一种跨模态视频文本检索方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116910307B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310950358.X，技术领域涉及：G06F16/783；该发明授权一种跨模态视频文本检索方法、系统、设备及介质是由孙怡宁;吕刚;年福东;刘辉;岳赵东设计研发完成，并于2023-07-31向国家知识产权局提交的专利申请。

本一种跨模态视频文本检索方法、系统、设备及介质在说明书摘要公布了：本发明公开了一种跨模态视频文本检索方法、系统、设备及介质，该视频文本检索方法采用的跨模态检索模型包括clip文本编码器、clip图像编码器、第一Transformer模型、第二Transformer模型、图卷积神经网络，该跨模态检索模型在训练阶段以第一Transformer模型输出的全局视频特征为输入，采用图卷积神经网络学习视频属性表示，提高了第一Transformer模型提取的全局视频特征的视频属性语义表达能力；该跨模态检索模型通过改进的第二Transformer模型准确消除模态之间的噪声或不相关上下文，实现跨模态特征对齐。

本发明授权一种跨模态视频文本检索方法、系统、设备及介质在权利要求书中公布了：1.一种基于视频属性表示增强的跨模态视频文本检索方法，其特征在于，包括： 1跨模态检索模型训练，包括： 采用clip模型的文本编码器提取文本特征；对视频中的每一帧图像分别采用clip模型的图像编码器提取图像特征，得到对应于每一帧图像的第一帧特征； 采用一个可学习的cls指令和视频中所有帧的第一帧特征共同作为第一Transformer模型的输入，得到一个全局视频嵌入和对应于每一帧图像的第二帧特征； 将所述视频中所有帧的第二帧特征输入到第一支网络，将全局视频嵌入输入到第二支网络中，所述第一支网络用于以所有帧的第二帧特征和所述文本特征为输入，采用第二Transformer模型进行多模态特征融合获取多模态视频特征；所述第二支网络用于以所述全局视频嵌入作为输入，采用图卷积神经网络进行视频的属性分析获取视频属性； 基于所述全局视频嵌入、多模态视频特征和文本特征之间的相似度确定视频文本检索结果，基于所述相似度计算第一损失函数，基于所述视频属性的真实标签和预测标签计算第二损失函数，基于第一损失函数和第二损失函数训练所述文本编码器、图像编码器、第一Transformer模型、第二Transformer模型、图卷积神经网络，直至训练完成； 2跨模态视频文本检索，包括： 将待分析的文本、视频分别输入所述文本编码器、图像编码器获取文本特征和第一帧特征，将cls指令和所有帧的第一帧特征输入到第一Transformer模型获取全局视频嵌入和对应于每一帧图像的第二帧特征，将文本特征和所有帧的第二帧特征输入第二Transformer模型获取多模态视频特征，基于全局视频嵌入、多模态视频特征和文本特征之间的相似度确定视频文本检索结果； 所述第二Transformer模型采用Transformer编码器构建，其中的多头注意力层以多模态数据为输入并采用掩码机制，记为多模态掩码注意力层，所述多模态掩码注意力层的计算过程为：对于多模态输入ft和多模态掩码注意力层的输出为：其中，M为掩码矩阵，基于视频不同帧与输入文本的相似度自适应确定；d为多模态掩码注意力层的特征维度；Qt＝LNftWQ；ft表示文本模态输入，视频模态输入；LN表示层归一化操作，WQ，WK和WV是多模态掩码注意力层的权重矩阵；所述掩码机制根据视频不同帧与输入文本的相似度自适应确定掩码矩阵，对于第i帧图像采用的掩码矩阵Mi为：其中，Si为文本嵌入ft与视频嵌入中第i帧嵌入的相似度得分，ti为可学习阈值，式中，FFN为双层全连接网络，Concat为特征按通道拼接操作，采用Sigmoid将阈值映射到0,1；所述第二Transformer模型，在标准的Transformer编码器的基础上，在输出端增加平均池化、前馈神经网络、归一化以及特征跨层相加操作，将第二Transformer模型中经过所述平均池化后的输出记为fv|t，fv|t∈Rd，第二Transformer模型的输出为：f'v＝LNFFNLNfv|tWp+LNfv|tWp，其中Wp是用于转换特征维度数的矩阵，LN表示层归一化操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院合肥物质科学研究院;合肥学院;池州学院，其通讯地址为：230031 安徽省合肥市蜀山湖路350号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。