买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北方工业大学申请的专利一种基于超图神经网络的多模态实体关系抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119830918B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411894941.4，技术领域涉及：G06F40/30；该发明授权一种基于超图神经网络的多模态实体关系抽取方法是由刘杰;许明英;钟鋐;宋林琦;李垠桥设计研发完成，并于2024-12-21向国家知识产权局提交的专利申请。

本一种基于超图神经网络的多模态实体关系抽取方法在说明书摘要公布了：本发明涉及自然语言处理技术领域，特别是涉及一种基于超图神经网络的多模态实体关系抽取方法，包括：获取文本‑图像对并输入预设的超图构建模型中，获取文本‑图像对的节点特征和多模态超图结构，其中，多模态包括文本和图像，超图结构包括一组超边集，超边集中的每条超边能够同时连接多个节点，且超边连接的节点数量不受限制；将节点特征和多模态超图结构输入预设的超图神经网络模型中，输出文本‑图像对中的多模态实体关系，其中，超图神经网络模型用于从语义和语境关系分析超图节点信息传播，结合注意力机制赋予模态间语义信息的相应权重。本发明能够有效融合多模态信息，识别多模态信息的实体类别与实体关系。

本发明授权一种基于超图神经网络的多模态实体关系抽取方法在权利要求书中公布了：1.一种基于超图神经网络的多模态实体关系抽取方法，其特征在于，包括： 获取文本-图像对； 将所述文本-图像对输入预设的超图构建模型中，获取所述文本-图像对的节点特征和多模态超图结构，其中，所述超图构建模型用于从文本和图像中提取细粒度的节点特征，通过所述节点特征分析节点间关系并表示为多模态超图结构，所述多模态包括文本和图像，所述超图结构包括一组超边集，所述超边集中的每条超边能够同时连接多个节点，且所述超边连接的节点数量不受限制； 将所述节点特征和多模态超图结构输入预设的超图神经网络模型中，输出所述文本-图像对中的多模态实体关系，其中，所述超图神经网络模型用于从语义和语境关系分析超图节点信息传播，结合注意力机制赋予模态间语义信息的相应权重； 所述超图构建模型包括特征提取模块和超图构建模块，所述特征提取模块用于提取所述文本-图像对的节点特征，并根据所述节点特征获取多模态语义超边集和语境超边集；所述超图构建模块用于基于所述节点特征、语义超边、语境超边构建所述多模态超图结构； 提取所述文本-图像对的节点特征包括： 对所述文本-图像对进行解析，分别获取文本节点特征和图像节点特征，其中，所述文本节点特征包含单词以及单词所属短语和全局信息，所述图像节点特征包含视觉目标以及视觉目标间的视觉关系； 根据所述节点特征获取多模态语义超边集和语境超边集包括： 根据所述文本节点特征和图像节点特征分别在模态内和模态间比较语义相似度，构建所述语义超边集； 根据所述文本节点特征和文本语法依存树提取文本语境结构信息，并结合视觉目标以及视觉目标间的视觉关系，构建所述语境超边集； 所述超图神经网络模型包括特征聚合模块和关系分类模块，所述特征聚合模块用于获取所述多模态超图结构中的超边特征信息并反馈到节点中，更新所述节点特征；所述关系分类模块用于聚合更新后的节点特征，提取实体间关系。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北方工业大学，其通讯地址为：100144 北京市石景山区晋元庄路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。