买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于场景融合知识的视觉语言导航方法、装置及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116242359B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310087842.4，技术领域涉及：G01C21/20；该发明授权一种基于场景融合知识的视觉语言导航方法、装置及介质是由谭明奎;罗宇成;刘飞;杜卿设计研发完成，并于2023-02-08向国家知识产权局提交的专利申请。

本一种基于场景融合知识的视觉语言导航方法、装置及介质在说明书摘要公布了：本发明公开了一种基于场景融合知识的视觉语言导航方法、装置及介质，其中方法包括：获取视觉语言导航任务；根据视觉语言导航任务获取自然语言指令特征、场景特征和物体特征，使用基于语义和位置感知的图卷积网络迭代更新物体特征的权重，使用场景中的物体标签检索出知识增强的物体特征；使用基于场景和知识感知的多模态决策模块，融合所述自然语言指令特征、场景特征和物体特征，进行动作预测并更新智能体的运行状态，直到智能体选择停下。本发明通过利用场景中物体和知识的语义和位置关系，使得场景特征和自然语言指令特征进行更好地对齐，并让智能体在有限的视觉观察和未见过的环境中能有效地导航。本发明可广泛应用于视觉语言导航技术领域。

本发明授权一种基于场景融合知识的视觉语言导航方法、装置及介质在权利要求书中公布了：1.一种基于场景融合知识的视觉语言导航方法，其特征在于，包括以下步骤： 获取视觉语言导航任务，所述视觉语言导航任务包括自然语言指令，以及初始的视觉信息和位置信息； 将自然语言指令编码成自然语言指令特征和智能体初始的运行状态；将视觉信息和位置信息进行编码并拼接，得到场景特征； 从视觉信息中提取出物体标签，将物体的语义标签和位置信息编码成物体特征，以更新图卷积网络中的节点表征； 使用基于语义和位置感知的图卷积网络迭代更新物体特征的权重，使用场景中的物体标签检索出知识增强的物体特征； 使用基于场景和知识感知的多模态决策模块，融合所述自然语言指令特征、场景特征以及经过知识增强的物体特征，进行动作预测并更新智能体的运行状态，直到智能体选择停下； 所述将自然语言指令编码成自然语言指令特征和智能体初始的运行状态；将视觉信息和位置信息进行编码并拼接，得到场景特征，包括： 在智能体获得视觉语言导航任务后，获得自然语言指令，表示指令的长度；其中智能体放置在起点位置； 在初始化阶段，将、指令序列和分割标识符，组成序列输入Transformer进行编码，得到智能体的初始运行状态和自然语言指令的特征： 导航是持续迭代的过程，在每一时刻，智能体会获取到场景的视觉信息和位置信息，所述视觉信息包括智能体当前位置的全景图像信息，分为36个离散视图，使用CLIP-ViT-B-32作为视觉编码器获取全景图的视觉特征；视图的位置信息包括视图相对于当前位置的转向角和仰角；通过对位置角复制32次向量，构建128维的方向编码； 对于当前场景，存在个可导航的方向，记作，得到对应位置信息特征，将二者拼接起来得到对应的场景特征{； 对每个候选方向，使用Faster-RCNN物体提取器提取场景中最显著的前个物体，将物体的标签标记为。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。