买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利具有人机双向交互功能的多感知融合仿生搜索机器人获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117021112B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311201895.0，技术领域涉及：B25J9/16；该发明授权具有人机双向交互功能的多感知融合仿生搜索机器人是由陈畅明;王睿泽;程茂桐;薛莹莹;牟石盟;庄柳静;任沁源;王平设计研发完成，并于2023-09-18向国家知识产权局提交的专利申请。

本具有人机双向交互功能的多感知融合仿生搜索机器人在说明书摘要公布了：本发明公开了一种具有人机双向交互功能的多感知融合仿生搜索机器人。该机器人包括视觉模块，听觉模块，触觉模块，嗅觉模块，电机驱动模块，仿生运动控制模块和信息融合模块。电机驱动模块连接仿生运动控制模块用于搜索机器人的运动控制。信息融合模块连接视觉模块，听觉模块，触觉模块和嗅觉模块获取多模态信息。此外，该机器人可用于灾后救援，爆炸物检测，活体探测等多种应用领域。机器人可用于危险源搜寻、爆炸物搜索等多种应用领域。

本发明授权具有人机双向交互功能的多感知融合仿生搜索机器人在权利要求书中公布了：1.具有人机双向交互功能的多感知融合仿生搜索机器人，其特征在于，包括：机器人主体和设置在机器人主体上的多模态感知融合决策模块； 其中，所述机器人主体包括机器人机械部分，与机器人机械部分连接的电机驱动模块，以及与所述电机驱动模块通信连接的仿生运动控制模块； 所述多模态感知融合决策模块包括：嗅觉模块以及视觉模块，听觉模块，触觉模块以及与视觉模块、听觉模块以及触觉模块均通信连接的信息融合模块； 视觉模块用于捕获所述仿生搜索机器人的周围环境视觉信息，以及所述视觉模块使用脉冲神经网络对所述周围环境视觉信息进行识别和分类并生成包含所述仿生搜索机器人运动至目标物的路径规划的脉冲信号； 听觉模块用于接收带有目标物标签的语音指令；以及所述听觉模块使用脉冲神经网络识别所述目标物相对所述仿生搜索机器人的方向并生成包含所述方向信息的脉冲信号； 触觉模块用于获取所述目标物的至少一部分轮廓信息以及轮廓摩擦系数信息；以及所述触觉模块使用脉冲神经网络处理所述目标物的至少一部分轮廓信息以及轮廓摩擦系数信息，以生成包含所述目标物的轮廓信息以及轮廓摩擦系数信息的脉冲信号； 嗅觉模块用于获取目标物发出的气味信息；以及所述嗅觉模块使用脉冲神经网络判断所述目标物发出的气味所属种类并生成包含所述目标物发出的气味所属种类的脉冲信号； 所述信息融合模块接收所述视觉模块、所述听觉模块、所述触觉模块和所述嗅觉模块中的一种或多种模块生成的脉冲信号并将各个脉冲信号通过时间维度对齐的方式整合并经过脉冲神经网络处理而得到决策结果，以及将包含决策结果的信息发送至所述仿生运动控制模块，使得所述仿生运动控制模块向所述电机驱动模块发送电机运动参数信息，进而所述电机驱动模块控制所述机器人机械部分动作； 所述视觉模块包括捕获场景视觉数据单元、事件流时空特征提取与编码单元、事件流脉冲池化单元、事件流时间分辨率调整与整合单元以及深度脉冲神经网络SNN学习时空特征与识别单元； 其中，所述捕获场景视觉数据单元用动态视觉传感器实时读取场景中的动态信息并将其转化为地址事件表达格式的事件流； 所述事件流时空特征提取与编码单元对经过所述捕获场景视觉数据单元处理后得到的事件流进行时空特征提取和编码，以将视觉信息变为感兴趣的特征编码； 所述事件流脉冲池化单元对经过所述事件流时空特征提取与编码单元处理后得到的事件流进行脉冲池化； 所述事件流时间分辨率调整与整合单元对经过所述事件流脉冲池化单元处理后得到的事件流时间分辨率进行调整和整合； 所述深度脉冲神经网络SNN学习时空特征与识别单元将经过所述事件流时间分辨率调整与整合单元处理后得到的事件流使用深度脉冲神经网络学习时空特征，以对目标物进行识别； 所述捕获场景视觉数据单元中的动态视觉传感器实时读取场景中的动态信息并将其转化为地址事件表达格式的事件流Str＝{ei|ei＝[xi,yi,ti,pi]T,i∈[1,m]}； 其中，m是事件总数，事件流中的每个事件ei具有四个信息，即空间坐标xi∈[1,…,H],yi∈[1,…,W]，H和W是事件相机的分辨率，时间戳ti，和极性pi∈{-1,1}，其中-1和1分别表示“OFF”和“ON”事件，“ON”事件是指光强变亮，“OFF”事件是指光强变暗； 所述事件流时空特征提取与编码单元将经过捕获场景视觉数据单元处理后得到的事件流进行时空特征提取与编码，可分为时空事件平面计算阶段和编码阶段； 时空事件平面计算阶段：使用时空事件平面描述算子计算时空邻域内的事件之间的关联度，该描述算子包括一个空间关联核函数和一个时间关联核函数对于任意事件ei的时空事件平面的数学表达式如下： 其中，空间坐标xj∈[1,…,H],yj∈[1,...,W]，u是控制时间和空间关联度的比例系数，σl和τl是时空平面的空间标准差和时间衰减常数，下角标l表示第l个特征编码层；Ai是事件ei的时空事件平面描述算子，空间关联核函数关注以ei为中心，Rl为半径的矩形邻域内事件的空间关系，该函数给空间距离越近的事件分配越大的权重；时间关联核函数关注最新发生的且时间位于时间窗τl内事件的时间关系，即满足tj＝maxtxj,yj,tj∈[ti-τl,ti}，该函数给那些发生比较早的历史事件分配较小的权重，认为那些事件与当前事件之间具有比较小的时间关联度，因此当前事件与时空邻域内事件的时空关联度越大，被分配到的权重越大，这有利于更加精准地描述事件流的时空动态变化； 编码阶段：前Nl个事件的时空表面被用来初始化Nl个特征模板： 初始化后，使用在线聚类算法来更新这些模板，对于每个事件ei，通过时空事件平面计算阶段处理而获得其时空表面，并使用下述公式计算和每个模板之间的欧氏距离： 与最接近的第k个模板将事件ei编码为ei＝[xi,yi,ti,k]T，同时第k个模板将使用在线聚类算法进行更新： 其中，nk为编码为第k特征的事件数量，是α由nk控制的更新幅度，即编码为第k特征事件数量越少，对应模板更新幅度越大，β表示和之间的余弦相关性； 采用两层特征编码用于提取事件流中不同空间和时间尺度的特征，第一层使用小尺度的时空参数τ1和R1来编码细粒度特征，第二层使用较大尺度的时空参数τ2和R2来编码跨时空距离的更复杂特征； 所述事件流脉冲池化单元对经过所述事件流时空特征提取与编码单元处理后得到的事件流进行脉冲池化，该操作包括空间池化阶段和不应期阶段； 其中，空间池化阶段：通过空间池化保留事件的局部关键特征，即首先对相邻的不重叠的r×r像素区域内的编码事件ei＝[xi,yi,ti,ki]T进行空间池化，即： ei＝[xir，yir,ti,ki]T 其中r为池化半径； 不应期阶段：使用一个脉冲神经元接收空间池化后的事件，该神经元采用低阈值与不应期操作，以确保单一输入足以触发输出脉冲并保持一段时期不对输入进行响应，因此，任何输入事件都会触发不在不应期内的神经元发出脉冲，然后该神经元将保持沉默，直到不应期tref结束，只有使神经元发放的事件被传输到脉冲神经网络中进行分类； 所述事件流时间分辨率调整与整合单元对经过所述事件流脉冲池化单元处理后得到的事件流时间分辨率进行调整和整合，目前深度脉冲神经网络SNN无法直接处理微秒级的事件流数据，采用时间坍缩策略来调整事件流的时间分辨率并聚合相同时间的事件，该策略首先根据将事件流划分成多个时间切片，然后认为时间切片内的事件具有相同的时间戳，将有事件输入的位置设为1，否则设为0，因此切片内的事件流转化为一个时间步的二值输入St,公式表示如下： Styi,xi,ki＝1 其中，yi,xi,ki为第t个时间切片内事件流{ei|ti∈[α×t,α×t+1-1]}的坐标值与特征通道数； 因此，可以得到t个H,W,Nl大小的二值脉冲向量作为脉冲神经网络每个时间步的输入； 所述深度脉冲神经网络SNN学习时空特征与识别单元将经过所述事件流时间分辨率调整与整合单元处理后得到的事件流输入到SNN中，并使用时空反向传播STBP算法训练深度SNN，该步骤分为SNN前馈计算阶段和反向传播训练阶段； SNN前馈计算阶段：SNN使用的离散时间迭代LIF神经元模型，其膜电位更新以及脉冲发放动力学公式表示如下： 其中，λ是神经元的膜电位衰减系数，Vthr是膜电位阈值，表示由阶跃函数gx控制的脉冲发放状态，当膜电位超过阈值时，神经元会发放脉冲传递到下一层，并在下一个时刻进行膜电位的复位；为突触后电位更新，其具体计算公式如下： 其中，表示第l层的第i个突触后神经元与前一层第j个突触前神经元之间的突触权重；是第l-1层j个突触前神经元在第t+1时刻的脉冲输出； 反向传播训练阶段：由于脉冲发放的不可微特性，STBP采用矩形函数替代神经元输出脉冲对膜电位的导数，进而支持误差的反向传播： 其中，a1是决定梯度宽度的超参数； 最后，STBP的损失函数设置为最小化给定时间窗T下所有样本的均方误差： 其中ys和分别表示最后一层的第s个训练样本的标签向量和输出的脉冲向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。