买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于状态空间模型的序列多模态场景识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119445343B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411493295.0，技术领域涉及：G06V20/00；该发明授权一种基于状态空间模型的序列多模态场景识别方法是由张云洲;张金鹏;周乐;王丽;王思展设计研发完成，并于2024-10-24向国家知识产权局提交的专利申请。

本一种基于状态空间模型的序列多模态场景识别方法在说明书摘要公布了：本发明属于场景识别技术领域，公开一种基于状态空间模型的序列多模态场景识别方法。将轨迹中的激光点云和视觉图像联合编码形成多模态序列数据，通过全局描述符编码网络处理为独特的全局描述符，两个轨迹的全局描述符分别作为地图和查询；在查询过程中，通过最近邻搜索算法找到地图中最相似的数据，完成场景识别。本发明提出将激光点云和图像数据进行融合编码，增加数据维度，并压缩数据复杂度。通过基于状态空间模型的单帧模块和序列模块获得全局描述符。单帧模块中的交叉扫描设计提高计算效率，序列模块中的顺序全组合表示策略解决了场景中轨迹变化的位置识别问题。本发明具有计算高效性、高准确率和鲁棒性特点。

本发明授权一种基于状态空间模型的序列多模态场景识别方法在权利要求书中公布了：1.一种基于状态空间模型的序列多模态场景识别方法，其特征在于，将轨迹中的激光点云和视觉图像联合编码形成多模态序列数据，通过全局描述符编码网络处理为独特的全局描述符，两个轨迹的全局描述符分别作为地图和查询；在查询过程中，通过最近邻搜索算法找到地图中最相似的数据，完成场景识别；所述全局描述符编码网络包括单帧模块和序列模块； 所述多模态序列数据输入至全局描述符编码网络，依次经过单帧模块和序列模块后，得到全局描述符； 所述单帧模块包括ECA主干网络、多模态状态空间网络和VLAD聚合网络；每组多模态序列数据先由ECA主干网络处理，对五通道多模态数据进行通道注意力融合以获得主要特征；多模态状态空间网络进一步选择性地学习深层特征并使用VLAD聚合网络得到单帧数据描述符； 所述序列模块包括序列状态空间网络和池化层；所述序列状态空间网络融合多个单帧数据描述符，再采用GeM池化层聚合，生成维度为256的全局描述符； 所述多模态状态空间网络和序列状态空间网络均主要由多个基础状态空间模型组成；所述ECA主干网络是一个采用通道注意力机制融合来自不同通道信息的五层卷积神经网络；所述多模态状态空间网络采用交叉扫描的方式，在多模态序列数据中实现全局感受野，多模态序列数据分别从左上、左下、右上和右下四个角开始以相反的方向扫描，确保每个像素都能充分利用邻域信息，随后将不同的顺序合并为原始大小，得到不同序列；每个序列都由基础状态空间模型处理；所述基础状态空间模型输入分为两部分；一部分经过Linear层、卷积后进入SS2D模块，同时激活SinLU函数；另一部分经Linear层同时激活SinLU函数；两个分支的输出合并经Linear层后与原始输入合并，输入至VLAD层模块；所述序列模块获得多个单帧描述符后，将多个单帧描述符顺序连接，并对连接顺序进行组合排列；多种组合顺序的连接描述符分别输入单层的基础状态空间模型，按权重相加的方式将多个排列的结果融合，输入GeM池化层生成序列全局描述符；所述联合编码具体为： 在数据层面上对齐和关联视觉图像和激光点云； 首先将激光点云P={x,y,z}从激光雷达坐标系投影到视觉图像平面I={u,v}，公式如下： ； 激光点云坐标的齐次表示为X=[x,y,z,1]T，视觉图像坐标的齐次表示为Y=[u,v,1]T；M1和M2分别是相机内参矩阵和激光雷达到相机的外参矩阵，Zc表示相机坐标系中空间点的z坐标； 投影之后，为每个投影点赋予相应的rgb颜色信息，激光点云格式转换为P’={x,y,z,I,r,g,b}，其中I表示反射强度； 采用以激光雷达传感器为原点的极坐标系，根据设定的水平角分辨率和垂直角分辨率将3D空间划分为若干个扇区；每个扇区包含一组格式转换后的激光点云，在这些激光点云中，选择与激光雷达传感器距离最大的激光点作为代表点；所述代表点表示激光雷达传感器在该方向上的最大可检测范围，定义如下： ； 其中，Px、Py、Pz分别为点的笛卡尔坐标，L2表示L2范数，Max表示最大值，Φ表示最大值对应的点，n表示扇区内的点数；将点所蕴含的多维信息按照扇区的排列顺序编码成二维图像，得到多模态序列数据，称为SMRD，定义如下： ； 其中，Vs和Hs指划分扇区的行与列的数量，分别指的是每个点的反射强度、点到传感器的距离和rgb信息的数据域； 所述SMRD是一个包含反射强度I、范围D和颜色rgb信息的五通道二维结构数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路三巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。