买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115861596B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211451088.X，技术领域涉及：G06V10/25；该发明授权一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法是由王越;许可淳;熊蓉设计研发完成，并于2022-11-20向国家知识产权局提交的专利申请。

本一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法在说明书摘要公布了：本发明公开了一种基于视觉‑语言‑动作联合建模的杂乱场景目标物体抓取的方法。本发明利用以物体为中心的表征，实现了一种基于视觉‑语言‑动作联合建模的杂乱场景目标物体抓取的方法，通过预训练的视觉‑语言模型和抓取模型处理以物体为中心的表征，获得各个包围框的视觉‑语言特征和抓取特征，并利用transformer实施视觉‑语言‑动作多模态之间的交叉注意力机制，生成视觉‑语言‑动作交叉注意力特征，进而生成决策并执行，实现了更高的样本利用率，避免了仿真‑实物迁移过程的额外数据收集和训练；相对于两阶段策略，无需人为设计语言‑视觉匹配的视觉属性和规划器的筛选规则，从而能适应更灵活的语言指令，达到更好的任务泛化性。

本发明授权一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法在权利要求书中公布了：1.一种基于视觉-语言-动作联合建模的杂乱场景目标物体抓取的方法，其特征在于，包括： 步骤1：给定场景和语言指令； 步骤2：获取场景的RGB-D图像，通过开放集物体检测算法获取场景中的物体包围框； 步骤3：通过预训练的视觉-语言算法模型得到步骤1中语言指令的语言特征和步骤2中所有物体包围框的视觉特征； 步骤4：根据获取的场景RGB-D图像，通过预训练的抓取算法模型预测出场景中的抓取位姿集合，各个抓取姿态通过抓取编码网络编码为抓取动作特征； 步骤5：根据步骤3中获得的语言特征、所有物体包围框的视觉特征和步骤4中获得的抓取动作特征，利用transformer实施多模态之间的交叉注意力机制，生成视觉-语言-动作交叉注意力特征； 步骤6：根据步骤5获得的视觉-语言-动作交叉注意力特征，通过策略网络生成所有抓取位姿的概率值； 步骤7：根据步骤6得到的抓取位姿的概率值选取抓取动作，机器人执行对应的抓取位姿并移动到固定的放置位置； 步骤8：重复步骤2-7直到成功抓取语言指定的目标物体直到完成任务，尝试次数在指定次数以内； 所述的步骤5中生成视觉-语言-动作交叉注意力特征包括以下步骤： 步骤51：根据相机外参和深度图，依次计算所有物体包围框中心像素点的3D位置坐标，通过三角函数对3D位置坐标进行非线性映射，再通过位置编码网络编码为物体包围框的位置特征；所述的位置编码网络为三层MLP； 步骤52：将各个物体包围框的视觉特征和其位置特征相加得到各个物体包围框的视觉-位置特征，记为，将各个物体包围框的视觉特征和语言特征进行元素相乘得到各个物体包围框的视觉-语言特征； 步骤53：利用transformer交叉注意力机制计算视觉-语言-动作特征，具体地，注意力机制可以表示为： ； 其中分别为query，key，value，Attention算子先将query和key进行相似度计算得到权值，然后用softmax将权值进行归一化得到可用的权重，最后将权重和value进行加权求和； 根据注意力机制，将抓取动作特征作为query，将包围框的视觉-位置特征作为key，将包围框的视觉-语言特征作为value，计算得到交叉注意力特征，得到视觉-语言-动作交叉注意力特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。