买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军国防科技大学申请的专利一种融合事件和RGB图像的SNN目标跟踪方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119477976B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411552248.9，技术领域涉及：G06T7/246；该发明授权一种融合事件和RGB图像的SNN目标跟踪方法及系统是由沈辉;杨敬钧;范良伟;胡德文;连祥凯;张津浦设计研发完成，并于2024-11-01向国家知识产权局提交的专利申请。

本一种融合事件和RGB图像的SNN目标跟踪方法及系统在说明书摘要公布了：本发明公开了一种融合事件和RGB图像的SNN目标跟踪方法及系统，本发明方法包括通过基于时间堆叠的表示方法将来自事件相机的事件流转化为事件帧图像，并与来自RGB相机的RGB帧图像在时间和空间上分别对齐；将对齐后的事件帧图像和RGB帧图像利用脉冲神经网络SNN进行目标检测，所述脉冲神经网络SNN包括特征提取模块、特征融合模块和检测头；利用脉冲神经网络SNN提取的锚框与融合特征图来学习目标的相似性进行多目标的跟踪。本发明旨在实现融合事件和RGB图像的融合以确保多目标跟踪的高精度和高效率，在静态和高运动场景中保持稳健的检测性能和跟踪性能。

本发明授权一种融合事件和RGB图像的SNN目标跟踪方法及系统在权利要求书中公布了：1.一种融合事件和RGB图像的SNN目标跟踪方法，其特征在于，包括下述步骤： S1，通过基于时间堆叠的表示方法将来自事件相机的事件流转化为事件帧图像，并与来自RGB相机的RGB帧图像在时间和空间上分别对齐； S2，将对齐后的事件帧图像和RGB帧图像利用脉冲神经网络SNN进行目标检测，所述脉冲神经网络SNN包括特征提取模块、特征融合模块和检测头，所述脉冲神经网络进行目标检测包括：通过特征提取模块分别将对齐后的事件帧图像和RGB帧图像进行特征提取，通过特征融合模块将特征提取得到的事件帧特征图和RGB帧特征图融合得到融合特征图；通过检测头对融合特征图进行目标检测生成锚框； S3，利用锚框与融合特征图来学习目标的相似性进行多目标的跟踪； 步骤S2中的特征提取模块包括主干网络和多尺度模块，所述主干网络用于将对齐后的事件帧图像和RGB帧图像分别提取三种不同尺度的特征图；所述多尺度网络为带有脉冲卷积批归一化模块的路径聚合的特征金字塔网络，所述特征金字塔网络针对主干网络输出的三种不同尺度的特征图的处理包括：将第一种尺度特征图通过第一个脉冲卷积批归一化模块处理、上采样后，与第二种尺度特征图连接后再经过组合模块CSP2_1、第二个脉冲卷积批归一化模块处理、上采样后，与第三种尺度特征图连接后再经过一个组合模块CSP2_1处理得到第一个尺度的特征；将到第一个尺度的特征经过第三个脉冲卷积批归一化模块处理，再与第二个脉冲卷积批归一化模块处理特到的特征连接后再经过一个组合模块CSP2_1处理得到第二个尺度的特征；将到第二个尺度的特征经过第四个脉冲卷积批归一化模块处理，再与第一个脉冲卷积批归一化模块处理特到的特征连接后再经过一个组合模块CSP2_1处理得到第三个尺度的特征；再将三个尺度的特征通过一个多头注意力Head得到特征提取模块提取的事件帧特征图或者RGB帧特征图；所述组合模块CSP2_1包括两个并行的分支，一个分支为一个脉冲卷积批归一化模块，另一个分支为一个脉冲卷积批归一化模块后连接有2个级联的脉冲卷积批归一化模块，且两个分支通过一个连接模块连接后再经过一个脉冲卷积批归一化模块得到对应的输出特征；所述脉冲卷积批归一化模块的函数表达式为： ， 上式中，为脉冲卷积批归一化模块的输出特征，为脉冲卷积批归一化模块的输入特征，为批归一化，为卷积层，为带有量化神经元的卷积层针对输入特征得到的特征，且带有量化神经元的卷积层推理的函数表达式为： ， ， 上式中，为时间步长的整数值脉冲张量,为限幅函数，表示将特征限幅到范围内，为取整函数，为时间步长的膜电位张量，为量化发出的最大整数值的超参数；为第层时间步长的第个二进制脉冲张量，为第层时间步长的整数值脉冲张量，为将整数值脉冲张量分割为二进制脉冲张量的索引； 所述特征融合模块的函数表达式为： ， 上式中，表示融合特征图，表示带有量化神经元的卷积网络，表示串联合并后的特征图，表示事件帧特征图，且有： ， 上式中，表示串联合并，表示RGB帧特征图；所述带有量化神经元的卷积网络由四个脉冲卷积批归一化模块串联构成，所述脉冲卷积批归一化模块的函数表达式为： ， 上式中，为脉冲卷积批归一化模块的输出特征，为脉冲卷积批归一化模块的输入特征，为批归一化，为卷积层，为带有量化神经元的卷积层针对输入特征得到的特征，且带有量化神经元的卷积层推理的函数表达式为： ， ， 上式中，为时间步长的整数值脉冲张量,为限幅函数，表示将特征限幅到范围内，为取整函数，为时间步长的膜电位张量，为量化发出的最大整数值的超参数；为第层时间步长的第个二进制脉冲张量，为第层时间步长的整数值脉冲张量，为将整数值脉冲张量分割为二进制脉冲张量的索引。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区砚瓦池正街47号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。