买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉长春工业大学申请的专利一种基于视觉的农业环境感知与机器人辅助采摘方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119919933B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510415456.2，技术领域涉及：G06V20/68；该发明授权一种基于视觉的农业环境感知与机器人辅助采摘方法是由张秀梅;程艳妍;李慧;车柏乐;石建华;夏常磊;俞智航;赵新元设计研发完成，并于2025-04-03向国家知识产权局提交的专利申请。

本一种基于视觉的农业环境感知与机器人辅助采摘方法在说明书摘要公布了：本发明公开一种基于视觉的农业环境感知与机器人辅助采摘方法，该方法采用端对端检测，跟踪和分类框架，含物体检测与跟踪，特征提取，活动识别，目标位置估算，机器人调度器五个独立模块，利用RGB摄像头和二维激光雷达获取信息，通过定制长短期记忆网络处理数据，与其他方法相比，本方法采用的端对端架构能够使系统全面处理从采摘者活动检测到机器人辅助操作的整个流程，采用的多摄像头信息融合能够准确估算采摘者在不同距离范围内的位置，采用的定制长短期记忆网络能够准确预测采摘者的行为活动。

本发明授权一种基于视觉的农业环境感知与机器人辅助采摘方法在权利要求书中公布了：1.一种基于视觉的农业环境感知与机器人辅助采摘方法，其特征在于，包括如下步骤： 步骤1：获取不同环境下不同采摘者的水果采摘视频数据集，其中包括采摘者背对，侧向，朝向机器人的活动行为，以及不同遮挡状态下的视频，并将采集到的视频数据集运用剪裁技术处理成采摘和非采摘两类视频数据集； 步骤2：构建物体检测与跟踪模块，利用RealSense摄像头的RGB输入，采用YOLOv5模型架构和DeepSORT算法对采摘者进行检测跟踪，生成类标签，边界框和跟踪ID； 步骤3：构建特征提取模块，利用OpenCV框架与YOLOv5目标检测模型中的获取一系列图像帧及其边框和每一个采摘者对应的跟踪ID，接着使用滑动窗口技术提取特征，对采摘者活动进行分类； 通过利用卷积神经网络的卷积层通过卷积核与输入图像进行卷积操作来提取特征，其中三维卷积表达式如下： 其中Qi,j,k是输出特征图在位置i,j处的第k个通道值，Km,n,c是卷积核在m,n位置的第c个通道值，Ii+m,j+n,c是输出图像在i+m,j+n位置的第c个通道值，M，N是卷积核大小，C是输入的图像通道数； 通过使用帧累加器去建立数据结构来存储每一帧的图像数据，边界坐标信息以及跟踪ID； 通过使用滑动窗口技术在时间序列上滑动固定大小的窗口去获取局部特征信息，利用对数据特征的统计分析确定窗口的大小，其对数据特征的统计分析如下所示： 其中是窗口内特征的方差，xi是特征值，是窗口内特征值的均值，w是窗口大小，nw是当前帧索引； 步骤4：通过构建活动识别模块，以特征提取模块检测到的地标作为输入，使用定制的长短期记忆网络预测图像中每个采摘者的相关活动，接着利用滑动窗口技术确定每个序列输入帧的最佳尺寸，用来精准分类活动； 通过采用定制的长短期记忆网络去预测图像中每个采摘者的相关活动，定制的长短期记忆网络是由三个LSTM层构成，单位大小为32，末端层具有Softmax，其中LSTM单元内部表达式如下： ft＝σWf·[ht-1,xt]+bf， 其中ft是遗忘门在时刻t的输出，σ是sigmoid激活函数，Wf是遗忘门的权重矩阵，ht-1是上一时刻的隐藏状态，xt是当前时刻的输入，也就是特征提取模块检测到的地标特征，bf是遗忘门的偏置向量； ct＝tanhWc·[ht-1,xt]+bc， 其中ct是时刻t的细胞状态； ot＝σWo·[ht-1,xt]+bo， 其中ot是输出门在时刻t的输出，Wo是输出门的权重矩阵，bo是输出门的偏置向量； ht＝ot⊙tanhct， 其中ht是时刻t的隐藏状态，⊙是每一个元素相乘； 其中Pi是预测为第i个活动类别的概率，c是活动类别的总数，yi是全连接层输出y的第i个元素，k是预测的活动类别； 步骤5：通过构建目标估算模块，使用RGB-D摄像机和二维激光雷达提供距离信息，将活动识别模块中的RGB图像边界框投影到深度图像上，提取中心点深度，与激光雷达距离比较，去估算采摘者得到距离，使用cvReprojectImageTo3D函数将二维图像坐标转换为三维坐标，在相机帧中发布目标位置，通过ROSTF转换到地图帧地图； 将RGB图像中边界框的中心点坐标u,v投影到深度图像上，获取该点深度值d； 将二维图像坐标转化为三维坐标，对应的三维坐标X,Y,Z通过以下表达式计算： Z＝d， 其中K是相机的内参矩阵，fx和fy是相机在x和y方向的焦距，cx和cy是图像中心的坐标； 进行ROSTF转换，将相机帧转换为地图帧，对应的转换表达式如下： 其中是相机帧到地图帧的变换矩阵，X,Y,Z是相机帧中的三维点，X,Y,Z,1是对应的齐次式，Xmap,Ymap,Zmap是地图帧中的三维点，Xmap,Ymap,Zmap,1是对应的齐次式，rij是旋转分量，tx，ty，tz是平移分量； 步骤6：通过构建机器人调度模块，设任务调度，路劲规划，资源管理，避免碰撞的功能，接着与其他模块集成，深度图像处理用于更新任务优先级和调整路径，传感器数据融合以加强任务分配和导航决策，生成详细日志和报告以保持透明度和方便诊断。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长春工业大学，其通讯地址为：130012 吉林省长春市延安大街2055号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。