买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京航空航天大学;合肥科大智能机器人技术有限公司申请的专利基于多模视觉大模型的异常检测方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120726398B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511144198.5，技术领域涉及：G06V10/764；该发明授权基于多模视觉大模型的异常检测方法、系统、设备及介质是由李林;于敏;吉爱红;章海兵;吴道平;汪中原设计研发完成，并于2025-08-15向国家知识产权局提交的专利申请。

本基于多模视觉大模型的异常检测方法、系统、设备及介质在说明书摘要公布了：本发明公开了基于多模视觉大模型的异常检测方法、系统、设备及介质，方法包括：巡检设备在指定点位拍摄获取图像，正常状态下的模板图像和实时采集的检测图像进行对比，通过以下步骤判断是否有异常以及异常在图像中的位置：S1.图像进行配准；S2.利用开集目标检测大模型识别图像中的目标以检测各种异常部件；S3.使用分割大模型进行图像分割；S4.对模板图像与待检图像分割产生的轮廓进行IOU对比，剔除部分差异并逐区域分析，IOU小于指定阈值的轮廓设为可能异常处；S5.对差异轮廓进行相似度比较，剔除相似度大于预设阈值的轮廓，剩余即为异常区域。本发明无需提前感知具体异常类型，具备识别多类型目标及分割多类型目标的能力。

本发明授权基于多模视觉大模型的异常检测方法、系统、设备及介质在权利要求书中公布了：1.一种基于多模视觉大模型的异常检测方法，其特征在于，包括： 通过巡检设备移动到指定点位，采用预设拍摄距离及角度对被指定拍摄场景采取指定倍率进行拍摄获取图像；以巡检设备初次巡检获取正常状态下的图像作为模板图像，以巡检设备后续巡检中实时采集的图像作为检测图像，将巡检图像与模板图像进行对比，通过以下步骤判断异常以及异常在图像中的位置： S1.对模板图像与待检图像进行配准； S2.利用开集目标检测大模型在无需场景样本条件下识别图像中的目标以检测各种异常部件； S3.使用分割大模型在开集目标检测大模型获取的检测框内进行图像分割； S4.对模板图像与待检图像分割产生的轮廓进行IOU对比，剔除部分差异并逐区域分析，IOU小于指定阈值的轮廓设为可能异常处； S5.对差异轮廓采用孪生网络计算进行相似度比较，剔除相似度大于预设阈值的轮廓，剩余即为异常区域； 所述S2步骤中开集目标检测大模型采用基于transfomer网络结构的开集目标检测模型，包括： 文本主干网络和图像特征提取主干网络，所述文本主干网络采用BERT来提取文本特征，所述图像特征提取网络采用swinTransformer网络来提取多尺度图像特征； 文本图像特征融合模块，用于将图像特征与文本特征输入到融合模块进行跨模态特征融合； 语言引导查询选择模块，用于选择与输入文本相关的融合特征作为解码器的query； 多模态解码器，用于将跨模态query送到自注意力层，以组合获取图像特征的图像交叉注意力层、文本特征的文本交叉注意力层以及每个跨模态解码器层中的FFN层； 输出层，用于输出的更新后的查询和参考点，作为最终的框和类别预测； 所述S5步骤中孪生网络采取多层卷积、激活、池化，最后提取特征向量，且所述孪生网络采用改进SSIM结构相似度公式得到的ESSIM结构相似度公式作为损失函数，通过图像的亮度、对比度和结构衡相似性量，有损失函数公式为： 其中，分别为模板图像的原始图像特征与待检图像的原始图像特征，表示特征与特征的ESSIM结构相似度评估结果，为特征经过sobel算子处理的模板图像的图像特征，为特征经过sobel算子处理的待检图像的图像特征，为特征经过laplacian算子处理的模板图像的图像特征，为特征经过laplacian算子处理的待检图像的图像特征，,为指定比例系数，表示SSIM结构相似度计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学;合肥科大智能机器人技术有限公司，其通讯地址为：211106 江苏省南京市江宁区将军大道29号南京航空航天大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。