买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江省公安科技研究所;浙江大学;浙江宇视科技有限公司;浙江大华技术股份有限公司申请的专利一种基于多模态模型进行搜索的方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119938986B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510422711.6，技术领域涉及：G06F16/783；该发明授权一种基于多模态模型进行搜索的方法和系统是由孙斌;靳加彬;楼宏良;郑挺;许婷婷;陈波;张可鑫;王蒙蒙;张超;潘华东设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本一种基于多模态模型进行搜索的方法和系统在说明书摘要公布了：本发明公开了一种基于多模态模型进行搜索的方法和系统。方法包括：对视频进行分割，将视频各帧中，前后连贯且相似度高于阈值的帧集合，作为一个场景单元；对场景单元进行关键帧提取；对关键帧进行图像特征和文本特征提取；将关键帧图像特征和文本向量特征进行融合，得到反映场景单元内容的多模态特征；对用户输入的自然语言查询进行语义理解，将其转换为相应的查询特征向量；将查询特征向量与数据库中的多模态特征向量进行相似性计算，根据相似度对场景单元进行排序，返回最相似的场景单元；将检索到的场景单元按照相似度排序后呈现给用户。

本发明授权一种基于多模态模型进行搜索的方法和系统在权利要求书中公布了：1.一种基于多模态模型进行搜索的方法，其特征为： S1.对视频进行分割，将视频各帧中前后连贯且相似度高于阈值的帧集合作为一个场景单元； S2.对场景单元进行关键帧提取，从每个场景单元中提取关键帧，关键帧是与这个场景单元中其他各帧相似度最高的一帧： 对场景单元中的每一张图像，计算它与其他所有图像的累计差异度，选择累积差异度最小的图像作为关键帧， ； 场景单元中包含图像个数为，记为、…，为场景单元中第帧图像，为第帧图像在位置处的像素值，和为图像的宽度和高度，为累积差异最小的图像下标，为提取的关键帧； S3.对关键帧进行图像特征提取； S4.对关键帧进行文本特征提取，如果关键帧所属场景单元包括字幕或对白，则利用文字识别语音识别，将其转化为文字，通过语言模型将文本转换为文本特征向量；如果关键帧所属场景单元没有字幕或对白，通过多模态模型Qwen2-VL生成关键帧的文本特征向量； S5.将关键帧图像特征和文本向量特征进行融合，得到反映场景单元内容的多模态特征： ； 、为权重矩阵参数，为关键帧图像特征向量，为文本特征向量，为softmax函数，为多模态特征； S6.将提取的多模态特征嵌入存储到支持快速的向量相似性搜索的向量数据库中，用于快速检索出与查询向量相似的视频特征向量； S7.在数据库中建立多模态特征向量与场景单元的映射关系，在检索到相似特征向量后，快速定位到对应的视频片段； S8.对用户输入的自然语言查询进行语义理解，将其转换为相应的查询特征向量； S9.将查询特征向量与数据库中的多模态特征向量进行相似性计算，根据相似度对场景单元进行排序，返回最相似的场景单元； S10.将检索到的场景单元按照相似度排序后呈现给用户，包括显示视频片段的预览图、时间戳信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江省公安科技研究所;浙江大学;浙江宇视科技有限公司;浙江大华技术股份有限公司，其通讯地址为：310009 浙江省杭州市解放路155号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。