买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于多模态空间层次知识的三维语义场景图预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116630976B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310579832.2，技术领域涉及：G06V20/70；该发明授权一种基于多模态空间层次知识的三维语义场景图预测方法是由冯明涛;侯皓然;程嘉明;邵法兴;严晨渤;梅龙龙;田丰豪;郝鑫;杜雨豪设计研发完成，并于2023-05-22向国家知识产权局提交的专利申请。

本一种基于多模态空间层次知识的三维语义场景图预测方法在说明书摘要公布了：本发明公开了一种基于多模态空间层次知识的三维语义场景图预测方法，包括：S1：基于空间层次结构的符号知识图谱构建；S2：符号知识引导策略下的视觉上下文编码；S3：基于文本符号知识与视觉上下文特征的多模态知识提取；S4：多模态知识引导的物体与关系检测。通过设计图推理网络，在符号知识图谱中融合来自文本模态的符号知识与来自视觉模态的场景视觉上下文特征，实现多模态空间层次知识的提取与学习，并利用视觉场景中物体类别作为索引，提取对应的多模态知识特征，实现多模态知识增强的物体与关系检测，并通过引入表达能力更强的多模态知识提升了算法性能与效率，使得本发明三维场景图预测方法具有高精准、高效率、强鲁棒性等优点。

本发明授权一种基于多模态空间层次知识的三维语义场景图预测方法在权利要求书中公布了：1.一种基于多模态空间层次知识的三维语义场景图预测方法，其特征在于，所述三维语义场景图预测方法包括如下步骤： S1：基于空间层次结构的符号知识图谱构建； 步骤S1包括： S11：通过多层感知机对给定数据集中的物体类别集合O中每个物体类别进行层次分类处理； S12：基于物体类别的层次分类信息与常识知识图谱ConceptNet，对常识知识图谱ConceptNet进行数据筛选与清洗，定义筛选后的常识知识图谱ConceptNet为结点集合仅包含三维视觉场景中的常见物体类别，有向边集合εe代表常见物体类别之间的关系； S13：基于物体类别的层次分类，级联对应物体类别的GloVe词嵌入向量和对应层级的嵌入向量表示常识知识图谱中的每个物体结点在高维向量空间上的嵌入向量； 当知识图谱中的任意两个物体结点的层次分类结果是跨层的，并且两结点知识图谱在上至少存在一条跳数为2的路径，则在两结点之间加入一条支撑边，代表两物体类别之间的物理支撑关系，采用GloVe中对应的词嵌入向量表示中的有向边的特征； 最终将更新后的常识知识图谱ConceptNet知识图谱作为符号知识图谱 S2：符号知识引导策略下的视觉上下文编码； 步骤S2包括： S21：基于三维点云场景，在刻画三维点云场景的空间层次结构知识的符号知识图谱的引导下，构筑输入三维视觉场景的层次视觉图 S22：使用VoteNet作为物体检测网络，生成若干候选物体实例的边界框信息与对应物体类别的候选物体集合，输入每个物体的边界框参数，通过一个多层感知机将边界框参数映射至高维向量空间，得到物体空间特征； 根据物体的边界框参数vi提取物体实例对应的三维点集，并采用PointCloudTransformer作为视觉特征提取网络，提取输入场景中每个物体的视觉特征； 基于每个候选物体实例对应的物体类别，通过GloVe得到物体类别的词嵌入向量，作为该物体的语义特征； 级联物体的视觉特征、空间特征、与语义特征，得到层次视觉图中结点集合中每个结点的初始特征； 且，当层次视觉图中的任意两个物体结点在符号知识图谱中的结点之间存在至少一条支撑边，则在层次视觉图中的两物体结点之间添加一条有向边并加入有向边集合εv，代表两物体实例在输入三维点云场景下的物理支撑关系，通过级联中两参与结点的特征并经过多层感知机计算得到每条边在中的初始特征； S23：给定层次视觉图采用具备区域感知能力的图神经网络迭代更新层次视觉图中结点与有向边的隐藏特征，中的局部区域定义为若干共享同一支撑物的物体结点与其相关的有向边； 在t时刻，根据每个结点与所位于的局部区域对结点进行特征增强；并对每个局部区域内的有向边的特征增强； 特征增强后，区域感知图神经网络针对层次视觉图中的每个结点和有向边进行信息传递，经过迭代后，取图神经网络中对于物体结点的隐藏特征作为物体结点的视觉上下文特征有向边的隐藏特征作为有向边的视觉上下文特征 S3：基于文本符号知识与视觉上下文特征的多模态知识提取； 步骤S3包括： 基于符号知识图谱与视觉上下文特征与采用图推理网络对文本知识与视觉知识进行整合，迭代更新符号知识图谱中每个结点与边的知识特征， 经过迭代后，取图推理网络输出的每个结点和有向边的多模态知识特征作为物体类别的多模态知识和有向边的多模态知识 S4：多模态知识引导的物体与关系检测； 步骤S4包括： S41：基于层次视觉图中的视觉上下文特征和与相应的多模态知识和通过物体结点的视觉上下文初步预测输入场景中物体所对应的物体类别； 并根据初步预测结果，筛选出前三置信度物体类别所对应的结点多模态知识对层次视觉图上的有向边，根据物体类别预测结果，分别为有向边连接的两个物体结点选择前三置信度的物体类别，作为索引挑选对应的有向边多模态知识 S42：通过两个多层感知机，分别将结点视觉上下文和有向边视觉上下文与筛选后相关的结点多模态知识和有向边多模态知识统一映射到同一的向量空间，获得代表结点i的知识增强后的场景综合特征及代表结点i和j之间的有向边的知识增强后的场景综合特征 S43：基于物体结点与关系边的知识增强后的特征与将层次视觉图中的每个物体结点两两连接得到全连接图，图中物体结点特征初始化为知识增强特征有向边特征初始化为知识增强特征当全连接图中的关系边未出现在层次视觉图中，则初始化为参与物体结点的特征拼接； 利用标准图卷积神经网络对该全连接图中物体结点与关系边进行信息传递，实现面向三维视觉场景的知识推理，经过三轮迭代后，输出的物体结点特征与关系边特征分别送入物体分类网络与关系分类网络，获得物体结点i所对应的物体类别概率分布及物体结点i和j之间关系边对应的关系类别概率分布

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。