买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江南大学申请的专利一种基于多模态信息融合的模仿学习果实采摘方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116985132B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310983854.5，技术领域涉及：B25J9/16；该发明授权一种基于多模态信息融合的模仿学习果实采摘方法及装置是由宋智功;沈健;黄嘉昕设计研发完成，并于2023-08-07向国家知识产权局提交的专利申请。

本一种基于多模态信息融合的模仿学习果实采摘方法及装置在说明书摘要公布了：本发明公开了一种基于多模态信息融合的模仿学习果实采摘方法及装置，方法包括：基于果实采摘的实际动作数据，建立果实采摘任务的动作数据集；基于动作数据集，利用交叉注意力机制，得到多模态数据的融合特征；建立基于条件自编码器的动作生成策略模型，利用所述融合特征进行训练，得到果实采摘动作策略；本发明可以较为全面地获取环境信息，更加有利于机械臂在采摘过程中确定目标水果的位置；多模态信息的融合提高了算法对不同环境下的适应性，增加模型的鲁棒性；可变形机制的注意力机制模块减少了算法的计算量，使得算法部署到移动端依旧能保证实时性。具有更高的灵活性，鲁棒性。在操作任务上具有更好效果，能够更好地适应不同的控制任务。

本发明授权一种基于多模态信息融合的模仿学习果实采摘方法及装置在权利要求书中公布了：1.一种基于多模态信息融合的模仿学习果实采摘方法，其特征在于，包括： 基于果实采摘的实际动作数据，建立果实采摘任务的动作数据集； 基于所述动作数据集，利用交叉注意力机制，得到多模态数据的融合特征； 建立基于条件自编码器的动作生成策略模型，利用所述融合特征进行训练，得到果实采摘动作策略； 所述基于所述动作数据集，利用交叉注意力机制，得到多模态数据的融合特征包括： 利用可变形的交叉注意力机制模块，融合多模态的特征信息，具体的，将三个RGB图像、一个红外图像和一个深度图像作为输入； 对每个输入图像使用卷积神经网络进行特征提取，每个卷积神经网络的输出是一个特征图，包含了输入图像的高级特征； 将所有的特征图连接在一起，通过一个可变形的交叉注意力模型来处理连接后的特征图；所述模型包括一个注意力分布和一个变形模块；注意力分布用于计算特征图中每个元素的重要性，变形模块用于改变特征图的结构； 对连接后的特征图进行线性变换，得到一个查询矩阵、一个键矩阵和一个值矩阵；计算查询矩阵和键矩阵的点积，得到一个注意力得分矩阵；对注意力得分矩阵进行缩放处理，应用softmax函数，得到一个注意力权重矩阵；将注意力权重矩阵和值矩阵相乘，得到一个输出特征图，公式如下： 其中输入矩阵为X，查询矩阵为Q，键矩阵为K，值矩阵为V，查询矩阵和键矩阵的点积为注意力得分矩阵，记为A，应用softmax函数得到注意力权重矩阵为A’，输出记为Y； 对连接后的特征图进行线性变换，得到一个偏移矩阵；然后计算偏移矩阵和连接后的特征图的加权和，得到一个变形后的特征图； 将变形后的特征图通过一个全连接层进行处理，得到最终的输出； 所述建立基于条件自编码器的动作生成策略模型包括： 设计CVAE模型用于模仿学习和运动控制，所述CVAE模型由编码器和解码器组成，编码器将动作序列和相机图像作为输入，并将输入映射到一个潜在空间中的潜在变量，解码器从潜在空间中的潜在变量重构出动作序列和相机图像； 所述利用所述融合特征进行训练包括： 使用动作数据集与融合特征对CVAE模型进行训练，训练过程中，通过最小化重构误差和潜在变量的KL散度来优化模型，重构误差衡量重构的动作序列和相机图像与原始输入之间的差异，KL散度衡量潜在空间中的分布与标准正态分布之间的差异； 所述得到果实采摘动作策略包括： 在模型训练完成后，利用CVAE模型进行机械臂的运动控制；具体的，给定目标动作序列和相机图像，通过编码器将其映射到潜在空间中的潜在变量，根据需要的任务目标，在潜在空间中修改潜在变量，再通过解码器将修改后的潜在变量解码为运动控制的输出；公式如下所示： 其中c是附加信息，x是输入数据，z是隐变量；pθz∣c是z的先验分布，是z的后验分布，ELBO为证据下界。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江南大学，其通讯地址为：214000 江苏省无锡市梁溪区通沙路898号南楼七层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。