买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广西师范大学申请的专利一种面向常识记忆的多模态动态融合感知方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119919911B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510003622.8，技术领域涉及：G06V20/58；该发明授权一种面向常识记忆的多模态动态融合感知方法及装置是由卢凤黎;唐振军;马睿;吴德阳;扈海泽;张庭祯;刘晓红;李志伟设计研发完成，并于2025-01-02向国家知识产权局提交的专利申请。

本一种面向常识记忆的多模态动态融合感知方法及装置在说明书摘要公布了：本申请提供一种面向常识记忆的多模态动态融合感知方法及装置，其中的方法包括：从当前时刻的多视觉RGB图像中获取场景文本信息、环境信息和智能体状态信息；基于场景文本信息从感知常识记忆数据库中得到第一感知文本信息；对场景文本信息、当前时刻及之前的连续多帧的环境信息和智能体状态信息以及第一感知文本信息进行聚合，生成提示信息；对多视觉RGB图像进行特征提取，得到第一BEV特征，对点云数据进行特征提取，得到第二BEV特征；对第一BEV特征和第二BEV特征进行融合处理，得到动态协作特征；利用视觉语言大模型对提示信息和动态协作特征进行处理，得到当前时刻的感知结果。本申请能够提高智能体的全面感知精度。

本发明授权一种面向常识记忆的多模态动态融合感知方法及装置在权利要求书中公布了：1.一种面向常识记忆的多模态动态融合感知方法，其特征在于，包括： 获取智能体采集的当前时刻的多视觉RGB图像和点云数据； 从当前时刻的多视觉RGB图像中获取场景文本信息、环境信息和智能体状态信息； 基于场景文本信息从感知常识记忆数据库中得到第一感知文本信息； 对场景文本信息、当前时刻及之前的连续多帧的环境信息和智能体状态信息以及第一感知文本信息进行聚合，生成提示信息； 对当前时刻的多视觉RGB图像进行特征提取，得到第一BEV特征，对当前时刻的点云数据进行特征提取，得到第二BEV特征； 对第一BEV特征和第二BEV特征进行融合处理，得到动态协作特征； 利用视觉语言大模型对提示信息和动态协作特征进行处理，得到当前时刻的感知结果，所述感知结果包括：第二感知文本信息和视觉特征； 所述感知常识记忆数据库中存储多个感知文本信息；所述方法还包括： 计算第二感知文本信息与每个感知文本信息的相似值； 当至少有一个相似值小于预设的阈值，则将第二感知文本信息存入感知常识记忆数据库； 基于场景文本信息从感知常识记忆数据库中得到第一感知文本信息，包括： 计算场景文本信息与每个感知文本信息的相似值； 将相似值进行降序排列，生成相似值序列； 将相似值序列中前K个相似值对应的K个感知文本信息作为第一感知文本信息； 对当前时刻的多视觉RGB图像进行特征提取，得到第一BEV特征，对当前时刻的点云数据进行特征提取，得到第二BEV特征，包括： 利用ResNet101网络对N个视觉RGB图像进行特征提取，得到N个视觉特征图：、、； 利用可变形交叉注意力网络对N个视觉特征图进行处理，得到第一BEV特征： 其中，表示将第j个三维点投影到第i个视觉特征图的结果；为一组可学习的BEV参数，表示可变形交叉注意力网络； 利用PointPillars模型对点云数据进行特征提取，得到点云特征图； 利用可变形交叉注意力机制对点云特征图进行处理，得到第二BEV特征： 其中，表示将第j个三维点投影到点云特征图的结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广西师范大学，其通讯地址为：541004 广西壮族自治区桂林市七星区育才路15号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。