买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉烟台大学申请的专利一种基于多模态知识图谱的复杂装备故障诊断方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120217264B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510685574.5，技术领域涉及：G06F18/2433；该发明授权一种基于多模态知识图谱的复杂装备故障诊断方法及系统是由刘兆伟;杨海涛;张树立;宋鑫超;张金鑫;刘延乐;刘宁;程徐;赵鑫鑫;孙宏波;刘志中;于自强;宋永超;姜岸佐;单垚设计研发完成，并于2025-05-27向国家知识产权局提交的专利申请。

本一种基于多模态知识图谱的复杂装备故障诊断方法及系统在说明书摘要公布了：本发明涉及装备故障诊断技术领域，尤其是涉及一种基于多模态知识图谱的复杂装备故障诊断方法及系统。方法，包括：分别对获取的装备运行数据进行多模态特征提取；基于提取的多模态特征进行知识图谱构建；通过跨模态对比学习对知识图谱进行多模态特征增强；定义小样本任务，对增强后的知识图谱进行特征初始化；本发明结合知识图谱中蕴含的因果关联关系，系统能够实现对装备健康状态的动态感知与趋势预测，提前预警潜在故障风险。

本发明授权一种基于多模态知识图谱的复杂装备故障诊断方法及系统在权利要求书中公布了：1.一种基于多模态知识图谱的复杂装备故障诊断方法，其特征在于，包括： 获取装备运行数据； 分别对获取的装备运行数据进行多模态特征提取； 基于提取的多模态特征进行知识图谱构建； 通过跨模态对比学习对知识图谱进行多模态特征增强； 定义小样本任务，对增强后的知识图谱进行特征初始化； 对特征初始化后的知识图谱进行子图提取和Mamba增强； 利用图神经网络基于知识图谱进行故障分类； 所述分别对获取的装备运行数据进行多模态特征提取，包括通过布设高精度传感器采集到的原始振动信号数据，设定传感器收集到的振动信号数据为Xv，采用1D-CNN提取局部特征；采用BERT预训练语言模型对运维日志、操作记录做实体识别，完成故障实体的识别，并输出相应的语义嵌入向量；以及采用奇异值分解SVD方法对图像矩阵进行降维处理，将降维后的图像输入标准CNN网络，获得图像特征表示h i； 所述基于提取的多模态特征进行知识图谱构建，包括针对振动信号特征，构造特征–故障模板字典，采用模板匹配方法和频谱分析法对提取到的信号特征进行识别与分类；针对文本数据特征，对于运维日志、操作信息中通过BERT模型提取的语义嵌入向量及实体识别结果，进一步引入自然语言生成NLG，对句子级别信息进行摘要归纳，提取与诊断相关的关键语义内容；针对图像数据特征，通过CNN提取的高维图像特征需结合计算机视觉进行语义化注释； 所述通过跨模态对比学习对知识图谱进行多模态特征增强，包括模态间对比学习，对不同模态的样本对进行正负对比，完成跨模态特征对齐，其中，针对三种模态特征维度不同，将其投影映射到一个统一维度的对比学习空间中，在模态间对比学习中，在每个单独模态内部进一步强化区分性，量化各个样本在同一模态内的属性相似性，以此为依据生成正负对；针对文本数据特征进行上下文mask填空；对于图像特征加入高斯模糊，将图像与二维高斯核卷积，得到模糊增强图像； 所述通过跨模态对比学习对知识图谱进行多模态特征增强，还包括以样本增强后的视图为对比基础，构建模态内的正负样本对，优化模态内的特征分布结构，定义正样本对为同一样本的两个视图之间的配对，负样本对为该样本视图与其他样本视图之间的配对，为优化模态内特征的聚合与分离效果，模态内对比学习使用改进的InfoNCE损失函数，以最大化正样本对的相似度并最小化负样本对的相似度，对于模态m，其损失形式表示为： ， 其中，代表第j个样本在增强操作下，通过投影网络后的表征向量，代表第j个样本未经过增强操作下，通过投影网络后的表征向量，τ是温度超参数，控制对比分布的平滑程度； 所述定义小样本任务，对增强后的知识图谱进行特征初始化，包括构建支持集S作为当前任务中每类故障的少量样本，用于模型学习当前任务；查询集Q用于评估模型在该任务上的学习效果；利用知识图谱对故障类别进行结构化筛选，其中，采用图论中的图结构度量指标、特征向量中心性和路径长度对图谱中的故障节点进行评估，针对每个故障类别，从知识图谱中执行三阶邻居采样策略，即从当前节点出发，向外遍历图谱至第三跳，选取与该类别紧密相关的实体节点，形成包含语义邻居的子图结构； 所述对特征初始化后的知识图谱进行子图提取和Mamba增强，包括引入结构指标动态控制采样跳数S hop ，针对每个样本对应的知识图谱实体e i，根据节点的拓扑重要性动态调整邻域采样跳数S hop ，提取其局部邻域子图G i： ， 其中，Betweeness代表节点的中介中心性，Degree代表节点的度，参数α，β用于权衡中介中心性和节点的度的影响，dist代表路径跳数，V i 代表节点集合，E i 代表边集合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人烟台大学，其通讯地址为：264003 山东省烟台市莱山区清泉路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。