云南电网有限责任公司红河供电局朱国福获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉云南电网有限责任公司红河供电局申请的专利基于图结构学习模型的设备故障文本隐含关系预测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119477258B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411494979.2,技术领域涉及:G06Q10/20;该发明授权基于图结构学习模型的设备故障文本隐含关系预测方法是由朱国福;王聪智;刘刚;林周强;李权林;薛靖祺;李成飞;唐静涛;卫庆;康绍超;周照;王永建;蒋绍华;徐吉用;朱艳琼;李拓威;王蕾设计研发完成,并于2024-10-24向国家知识产权局提交的专利申请。
本基于图结构学习模型的设备故障文本隐含关系预测方法在说明书摘要公布了:本发明电网设备运维和检修技术领域,公开一种基于图结构学习模型的设备故障文本隐含关系预测方法,该方法基于获取的电网设备故障检修的文本数据集;目标是通过将设备故障文本中的实体和关系建模为图结构,结合大模型生成的实体向量与图神经网络进行消息传递和关系推断,设计图结构学习模型预测不同设备之间未知的故障关系;最终,使用分类器预测实体之间的未知关系。该预测方法利用大语言模型的特性,挖掘实体在句子中的向量表示,并结合图神经网络模型,利用考虑故障影响性的随机游走的子图采样机制,构建多个实体之间的子图结构,最后使用基于金字塔注意力机制的消息传递机制,得到电网设备故障文本中的隐含关系预测结果。
本发明授权基于图结构学习模型的设备故障文本隐含关系预测方法在权利要求书中公布了:1.基于图结构学习模型的设备故障文本隐含关系预测方法,其特征在于: 该基于图结构学习模型的设备故障文本隐含关系预测方法包括:融合大语言模型GPT与实体类型标签的实体编码层;考虑故障影响性的随机游走子图构建方法;基于金字塔注意力机制的图消息传递层;以及基于节点特征的故障关系预测; 该基于图结构学习模型的设备故障文本隐含关系预测方法,基于获取的电网设备故障检修的文本数据集;通过将设备故障文本中的实体和关系建模为图结构,结合大模型生成的实体向量与图神经网络进行消息传递和关系推断;利用图结构学习模型预测不同设备之间未知的故障关系;最终,使用分类器预测实体之间的未知关系; 该基于图结构学习模型的设备故障文本隐含关系预测方法,包括以下步骤: 步骤1,文本深度编码处理:使用大型语言模型LLM对文本进行编码,同时结合实体类型标签,将实体转换为词向量;通过位置索引将文本中提到的实体映射到图结构状态;最后将故障文本进行深度编码,构建实体的图结构; 步骤2,图结构建模与随机游走子图采样:将步骤1中的实体和关系建模为无向图,并引入改进的随机游走机制以考虑节点的故障影响力;进行动态权重设定减少冗余信息并提取关键关系信息,构建多个紧凑的子图结构;最后从全连接图中提取具有代表性的子图结构; 步骤3,特征聚合与关系预测:结合金字塔注意力机制,通过消息传递,将子图结构信息转化为全局实体向量表示;最后在子图中聚合实体特征并进行关系预测; 步骤4,故障关系预测与分类:通过解码层对生成的实体向量进行关系预测;将全局实体向量映射为具体的关系分类; 融合大语言模型GPT与实体类型标签的实体编码层,包括以下步骤: 步骤1,实体类型的词嵌入: 在处理文本时,将实体的类型标签嵌入到实体名称的两侧;对于上述处理过后的文本,通过预训练模型中的词典中提取出文本的数字化表示,即对于{x1,x2,...,xn},利用以下公式生成与之对应的{n1,n2,...,nn}∈R表示; Embeddingxi=Exi 其中,xi代表每一个单词;Embedding函数的生成结果为{n1,n2,...,nn}∈R; 步骤2,位置编码: 引入位置编码,以保留词序; 采用三角函数位置编码,如以下公式所示: 其中,PE代表编码函数;pos代表文本中字的位置信息;i代表序列信息;d代表模型向量的生成维度; 步骤3,多头自注意力机制: Transformer的关键组件是多头自注意力机制,其主要通过计算不同头的注意力得分并与值矩阵相乘,从而输出表示; 第i个头的输出向量公式为: 其中,T表示转置操作;dk表示序列的长度;在得到多个独立的head头的注意力拼接在经过参数的线性变换的带最终的输出向量; 最终,所有头的输出通过线性变换进行拼接,综合表示为: A=concathead1,head2,...,headnW+b 其中,A代表向量矩阵;concat代表向量的拼接,head代表不同的头,W和b分别代表线性变换中的参数矩阵和偏置向量; 步骤4,图结构的构建: 构建图结构G=V,E,其中边集E用默认值为1的上三角矩阵表示,且图中以实体为节点形成全连接无向图; 每个节点的初始向量为: nodei=meanget_entityA,start,end 其中,nodei∈H0,代表某一节点的初始向量;mean代表对向量平均操作;get_entity代表从向量矩阵中提取实体向量函数;entityi代表实体i的向量;start和end为实体在句子中节点索引; 通过以上步骤,构建出结合实体类型并有效处理序列数据的编码层; 考虑故障影响性的随机游走子图构建方法,包括以下步骤: 步骤1,图模型构建: 采用基于随机游走的子图采样机制,将图G=V,E采样为子图G*=V*,E*,其中,V*∈V,E*∈E; 步骤2,随机游走策略: 游走策略表示为如下公式: 其中,Ppath表示一条特定路径的概率;L是游走路径的长度;dvi表示节点i的度数;vi是第i步时的节点;d是节点的度函数; 步骤3,动态调整游走策略: 通过引入故障影响性因素,根据图的局部结构信息动态调整游走的步数和路径: 首先通过使用广度优先和深度优先策略,分别捕捉横向和深度的局部性信息;将获取基于头实体作为图的首节点,其余的作为扩充节点,达到子图采样的目的; 游走策略通过引入两种转移概率来调整,如下式: 其中,Pvi+1|vi,vi-1表示在已知当前节点vi和前一个节点vi-1的情况下,转移到下一个节点vi+1;dvi是节点vi的度数;pbase是基础概率,p是返回参数;qbase是另一个基础概率,q是游走的广度优先参数; 步骤4,故障影响性因素: 故障影响性FIvi定义为: 其中,dvi是节点vi的度数;Dmax图中所有节点的最大度数; 考虑故障影响性,相应地调整参数pbase和qbase,pbase和qbase的计算公式如下: qbase=qbase·1+FIvi 最终,将pbase和qbase代入故障影响性FIvi,得到考虑故障影响性的随机游走方法; 基于金字塔注意力机制的图消息传递层,包括以下步骤: 步骤1,节点消息收集与注意力权重计算: 在金字塔的每一层,节点i从其邻居节点集合N收集消息,并应用注意力机制计算加权后的特征向量; 节点之间的注意力权重如下式所示: 其中,表示在层l中,节点i对节点j的注意力权重;exp表示指数函数;LeakyReLU代表激活函数;α是一个可学习的向量;T代表转置操作;Wl是一个参数矩阵;表示节点i的初始嵌入向量,i∈v;||代表特征之间的拼接;表示节点j在层l的特征表示向量;k为邻居节点的索引;Νi表示节点i的邻居节点集合;表示节点k在层l的特征表示向量; 步骤2,特征聚合与池化: 对于每一层特征信息的提取,采用3种不同尺度的池化操作来获取特征信息,使用下式表示多尺度池化输出Pl; Pl=PoolHl 其中,Pl表示在第l层得到的多尺度池化输出;Pool是一个池化操作的函数;Hl是在第l层的特征表示矩阵; 步骤3,节点特征更新: 在GNN中,每个节点的信息传递是通过邻居节点聚合完成的;结合注意力机制后,节点特征更新公式表示为: 其中,是节点v在层l+1的特征表示向量;σ是一个非线性激活函数;u表示邻居节点的索引;Nv代表节点v的邻居集合;是注意力权重,表示节点v与邻居节点u之间的重要性;Wl是一个参数矩阵;是节点u在层l的特征表示向量; 步骤4,综合表示: 将上述部分结合,金字塔注意力机制与GNN的整体表示方式为下式所示: 其中,Hl+1表示第l+1层节点向量;Fusion表示特征拼接操作;是邻居节点u在层l的特征表示向量;Pl表示在第l层得到的多尺度池化输出; 基于节点特征的故障关系预测,包括以下步骤: 步骤1,节点特征表示: 利用消息传递机制,节点i和节点j的特征向量通过聚合操作生成关系特征; 聚合方法包括最大值操作和均值操作,公式如下: Rnodei,nodej=concatmaxnodei,nodej,meannodei,nodej 其中,Rnodei,nodej表示节点i和节点j之间关系特征的表示;nodei表示节点i的向量;nodej表示节点j的向量;concat表示拼接函数;max和mean表示求均值函数; 步骤2,关系预测: 在生成节点之间的关系特征后,通过线性层映射到关系类型数量上进行关系预测,公式为: rij=softmaxWR·Rnodei,nodej+bR 其中,rij表示节点i和节点j之间的关系分类;softmax表示软最大softmax函数,用于将输入向量转换为概率分布;WR和bR分别代表线性层的参数矩阵和偏置向量; 步骤3,损失函数: 采用FocalLoss函数提高模型对少量正样本的关注度; FocalLoss的定义如下: 其中,FocalLoss指交叉熵损失函数的值;是控制正负样本平衡的权重因子;pt是模型预测的正样本概率;β是一个调节因子;logpt是交叉熵损失的一部分。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人云南电网有限责任公司红河供电局,其通讯地址为:661199 云南省红河哈尼族彝族自治州蒙自市银河路南延段与红河大道交叉口红河供电局;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励