买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云知声智能科技股份有限公司申请的专利基于多模态的短视频搜索方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114840713B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210523888.1，技术领域涉及：G06F16/783；该发明授权基于多模态的短视频搜索方法、装置及存储介质是由刘高成;刘青松;梁家恩设计研发完成，并于2022-05-14向国家知识产权局提交的专利申请。

本基于多模态的短视频搜索方法、装置及存储介质在说明书摘要公布了：基于多模态的短视频搜索方法、装置及存储介质，该方法将短视频对象输送到多模态特征提取模型进行多模态信息特征提取；对短视频对象进行关键信息提取，获得短视频对象的关键视频片段和关键视频片段对应的关键音频信息；将关键视频片段输送至第一卷积神经网络进行视频特征的提取，获得关键视频片段的图像内容特征；对关键视频片段的字幕位置提取字幕文字信息，将字幕文字信息进行第一编码，得到关键视频片段的文字内容特征；将关键视频片段的语音信息输送至第二卷积神经网络进行第二编码，得到关键视频片段的语音内容特征；将达到预设相似度阈值的短视频作为短视频对象的搜索结果，返回给用户。本发明提高了短视频搜索的准确率。

本发明授权基于多模态的短视频搜索方法、装置及存储介质在权利要求书中公布了：1.基于多模态的短视频搜索方法，其特征在于，包括以下步骤： 1获取待搜索的短视频对象，将所述短视频对象输送到多模态特征提取模型，通过所述多模态特征提取模型对所述短视频对象进行多模态信息特征提取； 2所述短视频对象的多模态信息特征提取包括： 21对所述短视频对象进行关键信息提取，获得所述短视频对象的关键视频片段和所述关键视频片段对应的关键音频信息； 22将所述关键视频片段输送至第一卷积神经网络进行视频特征的提取，获得所述关键视频片段的图像内容特征； 23对所述关键视频片段的字幕位置提取字幕文字信息，将所述字幕文字信息进行第一编码，得到所述关键视频片段的文字内容特征； 24将所述关键视频片段的语音信息输送至第二卷积神经网络进行第二编码，得到所述关键视频片段的语音内容特征； 25将所述图像内容特征、所述文字内容特征和所述语音内容特征作为所述关键视频片段的多模态信息特征； 3将所述关键视频片段的多模态信息特征和短视频数据库中的多模态信息特征进行相似度计算，得到所述短视频对象与短视频数据库中每个短视频的相似度； 4将达到预设相似度阈值的短视频作为所述短视频对象的搜索结果，返回给用户； 将获取的关键视频片段，送入三维的第一卷积神经网络，进行短视频对象的特征提取，得到短视频对象的图像内容特征；设得到的关键帧的数量为N，将短视频对象分成M组，则有个序列； 三维的第一卷积神经网络表示为Fimg＝Conv3DWimg,seq,其中，Wimg是权重系数，Fimg表示提取的图像内容特征，Fimg是一个1×dim的向量，dim表示向量大小； 编码过程中，设y＝y1,y2…yn表示n个字符；q＝q1,q2…qn表示是通过q＝Embqy进行Embbeding得到查询向量；则： k＝k1,k2…kn＝Wk×q v＝v1,v2…vn＝Wv×q k,v分别表示查询向量和价值向量，Wk,Wv分别表示权重矩阵；则经过自注意机制得到最终向量其中kT表示k的转置；最终的文字编码为Fwor＝transV,hid，其中hid表示隐藏层向量，Fwor是一个1×dim的向量； 三维的第二卷积神经网络表示为Fvid＝Conv3DWvid,seq,其中，Wvid是权重系数，Fvid表示提取的语音内容特征，Fvid是一个1×dim的向量，dim表示向量大小； 将最终得到的图像内容特征、文字内容特征以及语音内容特征作为短视频对象最终的多模态信息特征，多模态信息特征表示为Fall＝Fimg,Fwor,Fvid； 将得到的多模型信息特征与短视频数据库中的多模态信息特征进行相似度计算，得到短视频对象与短视频数据库中每个短视频的相似程度；相似度计算如下： “·”符号表示向量的点积，为短视频数据库里面的某个短视频的多模态信息,表示当前需要搜索的短视频对象的多模态信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云知声智能科技股份有限公司，其通讯地址为：100096 北京市海淀区西三旗建材城内1幢一层101号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。