买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海歆仁信息科技有限公司申请的专利一种基于多模态分析的危险行为识别与预警方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119360278B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411484017.9，技术领域涉及：G06V20/40；该发明授权一种基于多模态分析的危险行为识别与预警方法是由徐新忠;宋健;轩翔宇;吴云;汪海平;杨卓远设计研发完成，并于2024-10-23向国家知识产权局提交的专利申请。

本一种基于多模态分析的危险行为识别与预警方法在说明书摘要公布了：本发明公开了一种基于多模态分析的危险行为识别与预警方法，涉及人工智能技术领域，包括通过设备采集多种类型数据，对采集到的多种类型数据进行预处理；针对每种数据类型，采用预训练模型进行特征提取并融合，生成多模态融合特征向量；通过对比学习框架，将多模态融合特征向量与风险描述文本配对，并计算相似性评分；基于多模态融合特征向量训练大型语言模型，利用大型语言模型对输入数据进行实时分析和识别，生成行为描述；基于实时生成的行为描述和相似性评分，动态评估风险水平，并生成预警；通过增量学习和迁移学习方法持续优化大型语言模型。本发明通过先进的机器学习和深度学习算法，实现对复杂环境下潜在危险行为的高效识别与实时预警。

本发明授权一种基于多模态分析的危险行为识别与预警方法在权利要求书中公布了：1.一种基于多模态分析的危险行为识别与预警方法，其特征在于：包括， 通过设备采集多种类型数据，并对采集到的多种类型数据进行预处理，所述多种类型数据包括图像、音频、视频和文本数据； 基于预处理后的多种类型数据，针对每种数据类型，采用预训练模型进行特征提取并融合，生成多模态融合特征向量； 通过对比学习框架，将多模态融合特征向量与风险描述文本进行配对，并计算相似性评分； 基于多模态融合特征向量训练大型语言模型，利用训练好的大型语言模型对输入数据进行实时分析和识别，生成行为描述； 基于实时生成的行为描述和相似性评分，动态评估风险水平，并生成预警； 定期收集新数据，通过增量学习和迁移学习方法持续优化大型语言模型； 所述通过对比学习框架，将多模态融合特征向量与风险描述文本进行配对，并计算相似性评分，包括如下步骤， 设定数据集，对于每个样本，将其融合特征向量与其对应的风险描述文本形成正样本对，对于每个正样本对，随机选择其他样本的风险描述文本形成负样本对，形成包含个正样本对和P个负样本对的样本对集合，其中P为每个正样本对应的负样本数量； 采用共享的Transformer编码器同时对多模态融合特征向量和风险描述文本进行编码，生成统一的嵌入空间； 采用余弦相似度衡量融合特征嵌入与文本描述嵌入之间的相似性； 采用交叉熵形式的对比损失函数，结合温度参数调节相似度分布，最大化正样本对的相似度，以及最小化负样本对的相似度； 对于每个融合特征向量，计算其与所有风险描述文本的相似性评分； 所述基于多模态融合特征向量训练大型语言模型，利用训练好的大型语言模型对输入数据进行实时分析和识别，生成行为描述，包括如下步骤， 采用线性投影层将高维的多模态融合特征向量映射到LLM所需的输入维度； 构建带有风险标签的多模态数据集，将多模态数据集划分为训练集、验证集和测试集； 对于每个样本，定义交叉熵损失，对所有训练样本的损失进行平均，得到总体交叉熵损失； 初始化LLM的所有参数，配置Adam优化器，设定学习率和其他超参数，对训练集中的每个批次进行前向传播，计算LLM模型预测概率，并计算当前批次的交叉熵损失，通过反向传播算法计算损失函数对LLM模型参数的梯度，使用Adam优化器更新模型参数，重复进行前向传播、损失计算、反向传播和参数更新的过程，进行多轮迭代训练，直至LLM模型在验证集上达到收敛条件和满足预设的性能指标； 将经过线性投影层转换后的向量InputLLM作为输入，输入到训练好的LLM模型中，通过LLM的前向传播，获取LLM模型输出的行为描述，对生成的行为描述进行后处理，得到最终的行为描述。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海歆仁信息科技有限公司，其通讯地址为：200333 上海市普陀区中江路879弄3号楼3066室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。