买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川中烟工业有限责任公司申请的专利一种基于卷积神经网络的视觉抓取检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116645636B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310617218.0，技术领域涉及：G06V20/50；该发明授权一种基于卷积神经网络的视觉抓取检测方法是由张阳;黄益;谢立华;李媛;叶科媛设计研发完成，并于2023-05-29向国家知识产权局提交的专利申请。

本一种基于卷积神经网络的视觉抓取检测方法在说明书摘要公布了：本发明一种基于卷积神经网络的视觉抓取检测方法，包括以下步骤：获取要抓取物体的RGB图片及深度图片；对输入的RGB图片和深度图片进行预处理，得到RGB图片的每个像素点的三维空间坐标；去除RGB图片的背景；将去除背景的RGB图片，进行特征提取及特征融合；将融合后的特征同时分别基于目标检测网络和抓取检测网络进行目标检测和抓取检测操作，得到目标检测特征和抓取检测特征；将目标检测后的特征和抓取检测特征，进行对准操作，得到目标检测结果和抓取检测结果的联合关联性；根据联合关联性和设定的最终预测的数量以及抓取参数中抓取质量的阈值，筛选出最终的抓取检测结果。本方法可以生成更多的抓取候选对象，而且提高了模型预测结果的可解释性。

本发明授权一种基于卷积神经网络的视觉抓取检测方法在权利要求书中公布了：1.一种基于卷积神经网络的视觉抓取检测方法，其特征在于：包括以下步骤： 获取要抓取物体的RGB图片及深度图片； 对输入的RGB图片和深度图片进行预处理，得到RGB图片的每个像素点的三维空间坐标； 去除RGB图片的背景； 将去除背景的RGB图片，进行特征提取及特征融合； 将融合后的特征同时分别基于目标检测网络和抓取检测网络进行目标检测和抓取检测操作，得到目标检测特征和抓取检测特征； 所述将融合后的特征同时进行目标检测和抓取检测操作，得到目标检测特征和抓取检测特征的过程如下： 首先将融合后特征输入堆叠卷积块来从纹理和语义信息中获得任务相关的特征表示， 然后通过一个3×3的卷积块来融合上一层次的任务相关的特征表示和当前层次的任务相关的特征表示得到目标检测任务相关特征和抓取检测任务相关特征； 最后通过一个1×1卷积层来将通道数量与最终预测相匹配，目标检测操作会输出一个通道的输出，其中代表着边界框的个数，是目标的类别数目，抓取检测操作最终会输出一个通道的输出，其中是预测的抓取矩形的数量，代表着旋转角箱子的数目，目标检测头输出表示为，抓取检测头输出表示为； 将目标检测后的特征和抓取检测特征，进行对准操作，得到目标检测结果和抓取检测结果的联合关联性； 所述将目标检测后的特征和抓取检测特征，进行对准操作，得到目标检测结果和抓取检测结果的联合关联性的过程如下： 将目标检测操作输出的任务相关特征和抓取检测操作输出的任务相关特征， 首先两个特征将通过一个1×1卷积层，得到特征和特征.的输出， 然后将两个特征映射重塑为二维矩阵，并利用转置矩阵乘法生成输出关联矩阵， 最后，使用一个sigmoid激活函数来得到抓取检测结果和目标检测结果的联合可能性； 根据联合关联性和设定的最终预测的数量以及抓取参数中抓取质量的阈值，筛选出最终的抓取检测结果； 所述根据联合关联性和设定的最终预测的数量以及抓取参数中抓取质量的阈值，得到筛选出最终的抓取检测结果的过程如下： 根据抓取检测结果和目标检测结果的联合可能性和两个设定的参数、以及抓取质量阈值过滤出筛选出最终的抓取检测结果，其中表示选择中目标对象预测值最高的个，表示每个目标对象最多有抓取预测， 根据设定的抓取质量阈值过滤掉抓取质量低于阈值的抓取检测结果，最终输出的结果格式为一组元组，元组中的参数为，其中表示目标检测框的中心像素坐标，表示目标检测框的宽度和高度，表示检测到的对象的类别，表示抓取矩形的中心坐标，表示为抓取矩形的宽度和高度，表示为旋转角度，表示为抓取的成功率； 所述对输入的RGB图片和深度图片进行预处理，得到RGB图片的每个像素点的三维空间坐标通过使用设定好的固定的相机和深度图片里每个点的深度信息，计算出RGB图片中每个像素点的三维坐标，相机参数和深度信息计算每一像素点的三维坐标公式为： 其中，u，v代表像素坐标点，代表三维坐标点，代表相机焦距，代表像素坐标在像素坐标系下的坐标轴和坐标轴上的缩放倍数，表示相机光轴在图像坐标系中原点到的像素坐标系下的原点的偏移量，代表深度值； 所述去除RGB图片的所处环境的背景的基于RANSAC的平面拟合方法，检测目标所在场景中最大的三维平面的过程如下： S31：在初始的三维坐标中随机选择三个点，计算其对应的平面方程： S32:计算所有点至该平面的代数距离，并选取一个阈值，若该点的则认为该点是平面拟合模型的内点，反之则认为是平面拟合模型的外点；代数距离计算公式为： S33:重复步骤S32，选取最佳拟合参数，即内点数量最多的平面对应的平面拟合模型参数；每次迭代末尾都会根据期望的误差率、最佳内点个数、总样本个数、当前迭代次数计算一个迭代结束评判因子，根据迭代结束评判因子决定是否停止迭代，迭代结束后，最佳模型参数就是最终的参数估计值；所述目标检测网络和抓取检测网络的结构相同； 所述目标检测网络由一个堆叠卷积块、一个3×3卷积块和一个1×1卷积层构成； 其中卷积块由一个卷积层、一个归一化层和一个LeakyReLU激活函数构成，3×3卷积块代表着卷积块内的卷积层是3×3卷积层； 堆叠卷积块由五个卷积块构成，五个卷积块为1×1卷积块、3×3卷积块、1×1卷积块、3×3卷积块和一个1×1卷积块顺序排列构成，其中旋转角箱子是把抓取矩形的旋转角度范围由[0，π]转换成个旋转角度的锚点。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川中烟工业有限责任公司，其通讯地址为：610000 四川省成都市龙泉驿区国家成都经济技术开发区成龙大道龙泉段2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。