买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利双臂协同视觉联合感知的空间目标抓取点智能快速定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115723123B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211299547.7，技术领域涉及：B25J9/16；该发明授权双臂协同视觉联合感知的空间目标抓取点智能快速定位方法是由罗建军;曹姝清;王明明;余敏设计研发完成，并于2022-10-23向国家知识产权局提交的专利申请。

本双臂协同视觉联合感知的空间目标抓取点智能快速定位方法在说明书摘要公布了：本发明涉及一种双臂协同视觉联合感知的空间目标抓取点智能快速定位方法，对空间非合作目标对接环的智能识别、分割与抓取位置的精确定位，其包含以下步骤：全局目标智能自主识别与实例分割；视觉联合感知的目标局部轮廓快速精确分割；视觉引导的双臂协同目标抓取点动态精确定位，实现双臂协同视觉联合感知的空间目标对接环的智能自主识别、分割与目标抓取位置的快速稳定获取。本发明解决了机械臂在轨抓捕和部件拆卸精细操作等在轨服务与操控任务中空间非合作目标对接环的智能自主识别、分割与目标抓取位置的快速稳定获取。具有泛化性高、实时性好、精度高及鲁棒性强等优点。

本发明授权双臂协同视觉联合感知的空间目标抓取点智能快速定位方法在权利要求书中公布了：1.一种双臂协同视觉联合感知的空间目标抓取点智能快速定位方法，其特征在于步骤如下： S1、全局目标智能自主识别与实例分割； S11、采集机械臂在轨服务与操控任务下的空间非合作目标图像，并进行样本标注，完成对空间非合作目标关键部组件有标签训练数据集的构建； S12、将S11构建的训练数据集作为基于MaskR-CNN的目标快速检测与实例分割网络模型的输入进行训练，并采用全局大视场RGB-D相机实时获取的图像输入到模型中实现机械臂抓取任务末端接近过程中的非合作目标对接环的智能自主识别与实例分割； 所述空间非合作目标图像要丰富多样，尽可能逼真模拟空间真实环境中在不同任务、不同光照、不同背景条件下的多种类、多角度运动状态下的空间非合作目标，具体包括空间杂散光干扰，空间背景复杂多变，空间光照极端恶劣，空间目标遮挡及空间目标处于翻滚或者高速自旋状态等条件下的空间非合作目标图像； 所述样本标注包括对训练样本中每一张原始图片中的目标关键部组件的实例分割边界和检测框的标记并创建对应标签； 所述样本标注通过使用Labelme对采集的每一张原始图像进行样本标注，具体通过使用Labelme工具中的CreatePolygons功能标记出目标关键部组件的实例分割边界并创建标签，然后在此基础上使用CreateRectangle功能标记出目标关键部组件对应的检测框，并选择对应标签； 所述的空间非合作目标关键部组件包括锅形天线、推力器、对地观测相机、太阳帆板、太敏、红外地平仪、刚性臂、馈源、柔性臂、太阳帆板支架、锥形螺旋天线、卫星本体、星敏感器、星箭对接环、对接面、激光数传、喷管、测控天线、末端操作器、GPS天线； 所述的全局大视场RGB-D相机安装于服务星本体上，位于双机械臂基座连线中心位置，能够实现机械臂抓取任务末端服务星距离操作星2m处位置的非合作目标对接环的全局信息的获取； 所述的非合作目标对接环的智能自主识别与实例分割通过采用MaskR-CNN算法实时获得目标初始状态定位检测框的位置，目标像素级别的分类及目标边界的精确分割等信息参数； 具体地，MaskR-CNN实现步骤如下： （1）基于ResNeXt-101网络实现图像特征提取； （2）对得到的特征图通过RPN目标估计网络生成候选区域ROIregionofinterest； （3）对获取的ROI通过具有双三次线性插值的ROIAlign层映射成固定维数的特征向量，以保持特征像素的精细性；其中两个分支经过FasterRCNN完成目标的分类和包围框的回归，另一分支经过全卷积神经网络FCN进行上采样得到目标物体的像素级实例分割； 所述实例分割分支采用了16倍上采样的FCN，分割结果更精细，对于较小目标更鲁棒；进一步地，FCN是在VGG-Net的con5_3层的基础上加了5层卷积层和3层反卷积层，实现目标识别与目标检测分支并行，减少任务整体执行时间； 其中训练采用的多任务损失函数，通过学习不断的减小损失函数的值，直到获得全局最优解；损失函数的公式如式（1），式中的三项分别为分类误差、包围框误差和分割误差： （1） 经过改进的MaskR-CNN算法之后会得到三个输出，分别是目标的类别、包围框的位置及物体的掩码； S2、视觉联合感知的目标局部轮廓快速精确分割； S21、基于上述S1全局目标智能自主识别与实例分割的结果，完成目标对接环部组件的筛选，获得目标对接环的包围检测边框的位置和目标像素分割掩码Mask； S22、将目标检测与分割的结果及目标对接环中心位置同步映射到全局大视场RGB-D相机对应获取的深度图中，获取目标对接环中心、半径、检测边框及边界三维信息； S23、引导目标对接环于全局大视场RGB-D相机获取的图像中心位置，并基于当前时刻获取的目标对接环中心、检测边框及边界三维信息实现双臂协同末端高精度手眼深度相机下目标对接环初始位置的定位获取； S24、基于检测边框获取双机械臂末端手眼深度相机下的目标对接环局部开窗区域，并对该区域深度图像中局部目标进行边缘检测与分割，结合目标实例分割像素边界结果，完成视觉联合感知的目标局部轮廓快速精确分割； 所述步骤S21中目标对接环部组件的筛选是基于上述S1全局目标智能自主识别与实例分割的结果，从多个部组件中快速筛选出关心的目标对接环这一类抓捕对象，进而实现基于全局深度相机的不同任务下目标对接环部组件的快速智能识别和分割，具有速度快及泛化性高的优点； 所述步骤S23中全局大视场RGB-D相机位于服务星末端双机械臂基座的中心位置，所述的局部高精度手眼深度相机安装于机械臂末端； 所述的目标对接环初始位置的定位获取具体过程如下： （1）根据目标对接环中心坐标，动态调整服务星与目标对接环的位置关系，直到目标对接环位于全局大视场RGB-D相机的视野中心； （2）启动双机械臂末端局部手眼相机，完成全局大视场RGB-D相机与服务星末端机械臂高精度手眼相机标定； （3）将全局RGB-D相机当前时刻获取的目标对接环圆心、半径、检测边框及边界三维信息映射到双机械臂末端高精度手眼相机观测的深度图像中，完成局部高精度手眼深度相机下目标对接环初始位置的定位获取； 所述的视觉联合感知的目标局部轮廓快速精确分割流程如下： 基于上述S1全局目标智能自主识别与实例分割获得目标对接环的包围检测边框的四个顶点和目标像素分割掩码Mask边界点坐标为： 和， 目标对接环的中心坐标； 所述将全局RGB-D相机获取的目标对接环圆心、半径、检测边框及边界三维信息映射到双机械臂末端高精度手眼相机深度图； 所述的局部高精度手眼深度相机下目标对接环初定位的目标对接环圆心、半径、检测边框及边界三维信息坐标如下： 左机械臂手眼深度相机深度图像中目标对接环检测框的顶点坐标： ； 左机械臂手眼深度相机深度图像中目标对接环虚拟圆心坐标； 左机械臂手眼深度相机深度图像中目标对接环边界点坐标：； 左机械臂手眼深度相机深度图像中目标对接环边界端点坐标： ； 右机械臂手眼深度相机深度图像中目标对接环检测框的顶点坐标： ； 右机械臂手眼深度相机深度图像中目标对接环虚拟圆心坐标： ； 右机械臂手眼深度相机深度图像中目标对接环边界点坐标： ； 右机械臂手眼深度相机深度图像中目标对接环边界端点坐标： ； 其中： （2） 所述步骤S24中基于检测边框完成双机械臂末端手眼深度相机下的目标对接环局部开窗区域的获取，左右机械臂末端手眼深度相机观测的局部区域为和所组成的区域； 所述步骤S24中只需完成左右机械臂末端手眼深度相机观测的和所组成的局部区域深度图像中目标的边缘的检测与分割，获得分割边缘点和； 所述步骤S24中结合目标实例分割像素边界结果，完成视觉联合感知的目标局部轮廓快速精确分割；具体通过筛选目标实例分割的目标边缘点与开窗小区域下深度图像中目标局部边缘的检测与分割边缘图信息取交集，获取最后的目标深度图边缘提取结果，具体如下： 对左右机械臂末端手眼深度相机获取的深度图像遍历每一个边缘点，保留同时满足如下条件的边缘点和； （3） （4） 所述的视觉联合感知的目标局部轮廓快速精确分割采用只全局处理初始位置图像，后续对包含目标的场景局部图像或图像序列进行局部处理实现其余序列图像局部特征的连续分割，无需对整个卫星图像进行边缘检测、特征提取及目标分割，具有实时性好的优点；通过全局智能分割与局部边缘检测分割视觉联合感知的方式，可有效提高目标局部轮廓区域分割的精度； S3、视觉引导的双臂协同目标抓取点动态精确定位，实现双臂协同视觉联合感知的空间目标对接环的智能自主识别、分割与目标抓取位置的快速稳定获取； S31、基于视觉联合感知的目标局部轮廓快速精确分割获取的目标边缘信息，采用分段组合三阶贝赛尔曲线对双臂手眼深度图像中局部边缘圆弧进行连续拟合，并动态获取边缘圆弧段最远切点，作为当前目标抓捕点； S32、当两个抓捕点间距离满足一定条件时执行抓取过程，并把抓取点的位置信息发送给末端机械臂控制器； S33、采用基于分段距离加权速度优化调整法实现双臂在行进过程中能够分段同步协同逼近目标对接环抓捕点，确保同步完成目标的抓取； 所述步骤S31中目标抓捕点的获取是通过采用分段组合三阶贝赛尔曲线完成双臂手眼深度图像中局部边缘圆弧的连续拟合，并动态获取边缘圆弧段最远切点； 所述的分段组合三阶贝赛尔曲线完成双臂手眼深度图像中局部边缘圆弧的连续拟合： 所述动态获取边缘圆弧段最远切点具体地通过遍历曲线上的每一点，筛选出左右机械臂对应的最左和最右点作为抓捕点； 所述步骤S32中当两个抓捕点间距离满足一定条件时执行抓取过程具体通过计算归一化到右相机坐标系下的两个抓捕点之间的距离d，若d大于45倍对接环的直径，满足抓取要求；若不满足距离要求，则以右抓捕点为基准，连接右抓捕点与虚拟圆心坐标，并延长线与左机械臂深度图像的交点，并在交点周围一定区域r=0.001m内搜索抓捕点，确保双臂同时抓取目标区域足够远，并能够稳定抓取同一个目标对象； 所述步骤S33中采用基于分段距离加权速度优化调整法实现双臂在行进过程中能够分段同步协同逼近目标对接环抓捕点； 所述的分段距离加权速度优化调整法： 所述的基于分段距离加权速度优化调整法实现双臂协同目标抓捕点位置的获取，具体通过在双机械臂行进过程中按照当前获取的双臂各自距离抓捕点的距离信息百分比权值调整机械臂运动速度，采取分段同步协同逼近目标对接环抓捕点的策略，确保左右手眼相机同步获取目标抓取点的位置，具有目标抓取点定位精度高及鲁棒性强等优点。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。