买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军32398部队申请的专利一种机器人多模态近场环境感知方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116797926B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310679503.5，技术领域涉及：G06V20/10；该发明授权一种机器人多模态近场环境感知方法及系统是由朱晓秀;邸荻;吴耀忠;叶亚峰;张龙飞;马宁;马添龙;王俊豪设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本一种机器人多模态近场环境感知方法及系统在说明书摘要公布了：本发明的目的是公开一种机器人多模态近场环境感知方法及系统，属于近场环境感知技术领域。本发明基于机器人载荷全景相机以及麦克风阵列设备，通过全景相机画面的拼接以及麦克风对近场声源的识别及定位，实现对机器人周围的建筑、树木、行人、车辆等类别的目标进行高效的识别及分类。通过实时融合无拼缝全景视频拼接方法以及基于多尺度信息均衡及回归学习的高精度多对象检测分类方法，解决全景视频及图像会出现因为视频中运动物体的干扰而导致的重影、错位、模糊以及拼接缝以及由于目标在尺度、视角、外观等方面的多样性以及实际应用场景中复杂的数据特性，实现高精度的目标检测。

本发明授权一种机器人多模态近场环境感知方法及系统在权利要求书中公布了：1.一种机器人多模态近场环境感知系统，其特征在于，包括全景视频拼接模块、近场识别标注模块以及声监听模块； 所述全景视频拼接模块用于将机器人载荷的多个全景相机获取连续的图像数据，构建拼接出360°全景视频画面，具体实现过程如下： 1图像预处理，包括图像去噪、均衡光照，同时，为了保持图片中的空间约束与视觉的一致性，需要对图像做柱面投影的坐标变换，使得拼接的全景图像能够在水平方向上满足360度环视； 2图像配准，采用基于特征的图像配准方法将待拼接图像输入特征提取模型，计算并保存匹配到的特征点对坐标，估计变换模型，将待拼接图像变换到同一坐标系下； 3图像融合，采用最佳缝合线动态更新和改进渐入渐出法的图像融合算法通过获得的视频中运动物体的前景区域，判断当前视频图像是否需要更新最佳缝合线，接着使用改进渐入渐出法平滑过渡区域，在保留图像原始信息的情况下，消除重叠区域的模糊、鬼影，减弱接缝线； 所述的近场识别标注模块用于接收全景视频拼接模块的图像数据并存储，并对拼接后的全景视频画面中的所有对象进行检测、分类与标注；将输入的完整图像输出为带有类别标注信息的矩形检测框，并将含标注的全景画面压缩编码，形成全景标注视频流，并将视频流存储并传输至主控； 近场识别标注模块通过端对端的一阶段模型实现对划定区域内出现的所有目标进行多目标检测与分类，将目标检测任务看作目标区域预测和类别预测的联合回归问题，采用单个神经网络直接预测物品边界和类别概率，实现端到端的实时目标检测，具体实现步骤如下： 1采用自适应多尺度信息流的网络连接结构，利用信息融合整合相邻尺度的特征，然后通过从相邻尺度特征交互过渡到全局尺度特征交互的策略，进一步增强特征金字塔中所有层级的特征表示； 2目标分类，基于多路检测头的目标分类增强算法，从目标候选框和定位更加精准的检测窗口中提取目标信息并生成分类置信度； 3目标定位，基于对训练样本的统计分析，采用平衡优化回归学习网络提升定位任务的性能，利用自迭代窗口采样自适应的学习训练样本的多样性，对不同定位精度的目标候选框的窗口回归过程分别进行建模； 所述声监听模块用于对机器人搭载的360°麦克风阵列获取的音频数据进行分析，提取音频特征，计算声音信息的偏向角，对突发的声音进行定位，并将存在语音信息的音频数据进行存储及流式转发，具体包括如下步骤： 1声频定向，对输入音频信息进行信号处理，调节出具有高指向性的低频可听声音信号； 2声强检测 将声音信号转换为电信号后很微弱，无法直接进行AD转换，因此经过咪头传声器电路后，将信号放大，最后经过AD转化电路，完成声强检测； 3采用麦克风阵列对突发声音进行定位 数字MEMS麦克风传感器将模拟信号转化为数字信号，经过编码和调制最后上传到PC段，对接收到的数据进一步处理，通过算法计算实现对声源信号的位置估计。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军32398部队，其通讯地址为：100192 北京市昌平区立军路甲一号院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。