中国农业机械化科学研究院集团有限公司周利明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国农业机械化科学研究院集团有限公司申请的专利一种茄果类采摘机器人及其果簇观测位姿估计方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119563455B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411128534.2,技术领域涉及:A01D46/30;该发明授权一种茄果类采摘机器人及其果簇观测位姿估计方法和装置是由周利明;董力中;朱立成;赵博;吕程序;王瑞雪;韩振浩;柳苏纯;倪纪鹏设计研发完成,并于2024-08-16向国家知识产权局提交的专利申请。
本一种茄果类采摘机器人及其果簇观测位姿估计方法和装置在说明书摘要公布了:一种茄果类采摘机器人及其果簇观测位姿估计方法和装置,该茄果类采摘机器人包括果簇观测位姿估计装置,该装置用于实现果簇观测位姿估计方法,该方法包括如下步骤:采集茄果类植株的RGB图像数据与深度数据;对RGB图像数据与深度数据分别进行归一化后,输入训练好的双模态融合语义分割模型,预测RGB图像中的果实和茎秆两个类别对应的掩膜;提取掩膜连通区域对应的深度信息结合密度聚类方法进行局部掩膜细化;聚类提取单果串点云,计算每簇果串点云中心信息,并提取果串临近的茎秆点云进行直线拟合;以及根据果串点云中心与对应茎秆拟合直线垂点相对位置确定末端相机观测位姿。本发明有效提高了采摘机械臂末端相机对果梗采摘点的识别定位精度。
本发明授权一种茄果类采摘机器人及其果簇观测位姿估计方法和装置在权利要求书中公布了:1.一种果簇观测位姿估计方法,其特征在于,基于双模态融合语义分割模型识别茄果类果簇及茎秆,融合彩色图像信息与借助单目深度估计算法生成的深度图信息提升茄果类果实与茎秆检测精度;通过空间点云对茄果类茎秆和果簇进行提取与深入分析,估计出最佳的观测位姿,以优化茄果类采摘机器人观测角度,提升数据采集的质量和效率,包括如下步骤: S100、采集茄果类植株的RGB图像数据与深度数据; S200、对所述RGB图像数据与深度数据分别进行归一化后,输入训练好的双模态融合语义分割模型,预测RGB图像中的果实和茎秆两个类别对应的掩膜; S300、提取掩膜连通区域对应的深度信息,结合密度聚类方法进行局部掩膜细化; S400、聚类提取单果串点云,计算每簇果串点云中心信息,并提取果串临近的茎秆点云进行直线拟合;以及 S500、根据果串点云中心与对应茎秆拟合直线垂点相对位置确定末端相机观测位姿; 其中,所述双模态融合语义分割模型采用如下训练方法获得: S001、构建基于深层卷积神经网络的双模态语义分割模型,模型的网络结构中包括两个输入,分别为三通道RGB数据输入和单通道深度数据输入; S002、在所述双模态语义分割模型中加入特征融合矫正模块,对RGB特征与深度特征分别进行通道矫正与空间矫正;结合注意力机制进行特征融合后,通过骨干网络提取特征,并输出RGB图像中指定类别对应的掩膜; S003、采用单目深度估计算法,对缺少对应深度数据的带标注数据集图像进行深度图生成,使用彩色图像和生成的深度图像训练双模态融合语义分割模型,作为预训练模型;以及 S004、使用实际采集的果簇彩色图与深度图数据对所述预训练模型进行微调训练,得到最终训练好的双模态融合语义分割模型; 步骤S500中,进一步包括: S510、求果簇中心到拟合的茎秆直线段的垂点,并初步生成从果簇中心朝向垂点视角的初始位姿;以及 S520、在所述初始位姿基础上旋转再平移,得到最终的末端相机观测位姿; 步骤S510进一步包括: S511、确定单个果串点云中心点C到对应的直线段上的垂足D点坐标为:; 其中,垂足D是从果串点云中心点C到线段AB的垂线交点,设直线段起点与终点分别为和,则: ; ; ; 向量表示从线段的起点A到果串点云中心点C向量;t为标量,表示线段AB的向量上的一个比例,用于确定垂足的位置; S512、确定相机的朝向向量为从相机位置指向目标位置的向量,z轴为相机的朝 向方向,y轴垂直于相机底座并指向相机的上方,x轴遵循右手定则,垂直于z轴和y轴; 进行归一化处理: ; S513、计算向量在XOZ平面上投影与Z轴夹角,若该夹角大于设定角度阈值,则根据与在X轴上的相对位置调整: ; S514、计算左向量,通过上方向与方向向量的叉积得到,并归一化为: ; 是世界坐标系中的上方向,默认为0,-1,0; S515、重新计算上向量,通过方向向量与右向量的叉积得到,并归一化为: ;以及 S516、构造旋转矩阵为所述初始位姿: 。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国农业机械化科学研究院集团有限公司,其通讯地址为:100083 北京市朝阳区德胜门外北沙滩一号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励