买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮智慧建筑科技有限公司申请的专利一种基于多模态大模型的视频分析处理系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119540831B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411636948.6，技术领域涉及：G06V20/40；该发明授权一种基于多模态大模型的视频分析处理系统及方法是由霍璇;徐昆;李启凯;李健泽;杨宇坤设计研发完成，并于2024-11-15向国家知识产权局提交的专利申请。

本一种基于多模态大模型的视频分析处理系统及方法在说明书摘要公布了：本发明属于人工智能技术领域，具体涉及一种基于多模态大模型的视频分析处理系统及方法，所述方法包括：多模态控制大模型接收用户输入的通过自然语言描述所需完成的任务，对用户的输入进行语义分析，提取任务信息，将涉及视频理解的任务分解为子任务发送至视频理解模块；视频理解模块接收任务所需的视频或视频片段，执行子任务对视频进行分析，生成视频内容的嵌入和描述输入多模态控制大模型；多模态控制大模型接收到用户查询请求时，将用户的查询任务解析为可执行的子任务映射到视频理解的任务上，基于视频理解大模型生成的视频内容的嵌入和描述生成基于查询请求的响应结果。从而实现了跨模态信息的有效融合和互相增强，提高了视频理解的精度。

本发明授权一种基于多模态大模型的视频分析处理系统及方法在权利要求书中公布了：1.一种基于多模态大模型的视频分析处理系统，其特征在于，包括多模态控制大模型和视频理解模块； 多模态控制大模型接收用户输入的通过自然语言描述所需完成的任务，对用户的输入进行语义分析，提取任务信息，将涉及视频理解的任务分解为子任务发送至视频理解模块； 视频理解模块接收任务所需的视频或视频片段，执行子任务对视频进行分析，生成视频内容的嵌入和描述输入多模态控制大模型； 多模态控制大模型接收到用户查询请求时，将用户的查询任务解析为可执行的子任务映射到视频理解的任务上，基于视频理解大模型生成的视频内容的嵌入和描述生成基于查询请求的响应结果； 视频理解模块包括视频分析器和视频嵌入器； 所述视频分析器接收视频输入并以文本形式输出对视频的分析结果到多模态控制大模型；文本包括视频字幕、对视频中所有事件的详细描述及时间戳、标签、ID和边界框； 视频嵌入器采用已训练好的CLIP模型，对输入的视频提取视频特征，通过CLIP模型中的文本编码器将对应的文本描述编码为文本特征生成嵌入向量输入多模态控制大模型； 视频分析器对输入的视频进行解码，将其从压缩格式转换为原始图像帧序列，从解码后的视频中提取出连续的图像帧，提取每一帧图像的图像特征，以及提取视频的视频特征，对提取出的特征进行分析，检测视频中与任务相关的关键事件，检测到事件，视频分析器生成对事件的详细描述；基于事件检测的结果，视频分析器生成包含视频字幕、事件描述、时间戳、标签、ID和边界框信息的文本； CLIP模型设置有视觉编码器，CLIP模型训练时包括对输入的视频帧进行随机掩码，让模型重构被掩码部分的掩码重构训练；具体包括： 将视频分解成帧并进一步分成patch，每个patch表示一个token； 随机选择设定比例的token进行掩盖；即掩码； 将未掩盖的tokens输入到CLIP模型的视觉编码器中，生成所述tokens的特征嵌入； 将未掩盖的tokens特征嵌入聚合成聚合特征，作为模型推测被掩盖tokens的参考信息； 使用重建网络输入聚合特征和位置编码，预测被掩盖的tokens的嵌入； 使用均方误差损失度量被掩盖tokens的重建误差； 计算时空平滑损失 计算重建tokens和未掩盖tokens的余弦相似度来计算用于区分正样本对和负样本对的对比损失函数 计算用于衡量生成图像与真实图像之间差异的损失函数 通过加权组合生成联合损失训练过程最小化联合损失； 其中α,β,γ,δ为权重系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮智慧建筑科技有限公司，其通讯地址为：250100 山东省济南市历城区唐冶街道兴元街1677号6号楼17层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。