买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南通大学申请的专利面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115862072B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211649542.2，技术领域涉及：G06V40/10；该发明授权面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法是由王晗;刘佳丽;包银鑫;施佺设计研发完成，并于2022-12-21向国家知识产权局提交的专利申请。

本面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法在说明书摘要公布了：本发明公开了一种面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法。该主干网络由四个部分组成：RGB、FIR分支网络CSPDarknet、跨模态上下文注意力模型CCAM、分支注意力模型CBAM与特征融合模型组成。跨模态上下文注意力模型CCAM利用下层RGB、FIR各通道的特征融合结果对上层RGB、FIR各通道的特征做空间上的权重优化，实现相邻不同尺度特征之间的上下文跨模态互补。采用本发明方法，可有效优化现有RGB‑FIR多模态YOLO模型的主干网络在各尺度上输出的RGB‑FIR融合特征，增强多模态YOLO在光照不足环境下行人检测的准确性和鲁棒性。

本发明授权面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法在权利要求书中公布了：1.一种面向多模态行人检测YOLO模型的跨模态上下文注意力主干网络的构建方法，其特征在于：包括如下步骤： 步骤1以RGB、FIR各分支CSPDarknet网络中Resblockbodyi节点输出的多模态特征为输入，构建跨模态上下文注意力模型CCAM，面向各分支Resblockbodyi+1节点输出特征，按通道分配CCAM输出的空间注意力权重矩阵，通过矩阵元素相乘，获取上下文注意力优化后的Resblockbodyi+1节点的1次优化特征； 步骤2利用CBAM注意力模型，将步骤1获取的各分支Resblockbodyi+1的1次优化特征再次进行通道与空间上的优化，获取各分支Resblockbodyi+1的2次优化特征； 步骤3将步骤2中获取各分支Resblockbodyi+1的2次优化特征作为输入，构建特征融合模型，获取Resblockbodyi+1节点的RGB‑FIR多模态融合特征； 步骤4按照步骤1、步骤2、步骤3定义的结构与操作，利用跨模态上下文注意力模型连结RGB、FIR分支CSPDarknet网络，构建RGB‑FIR跨模态上下文注意力主干网络模型CCAM，分别在Resblockbody2、Resblockbody3、Resblockbody4节点上获取不同尺度的RGB‑FIR多模态融合特征； 所述的步骤1中，以RGB、FIR各分支CSPDarknet网络中Resblockbodyi节点输出的多模态特征为输入，构建跨模态上下文注意力模型CCAM，面向各分支Resblockbodyi+1节点输出特征，按通道分配CCAM输出的空间注意力权重矩阵，通过矩阵元素相乘，获取上下文注意力优化后的Resblockbodyi+1节点的1次优化特征，具体步骤如下： 所述的跨模态上下文注意力模型CCAM由四个模块组成：特征通道扩展模块、通道特征融合模块、特征下采样模块、空间权重生成模块； 步骤1‑1：利用特征通道扩展模块将RGB和FIR分支CSPDarknet网络中Resblockbodyi节点的原始输出特征进行通道扩展，使之与Resblockbodyi+1节点的原始输出特征通道数相同，具体方法如下： 设RGB和FIR分支CSPDarknet网络中Resblockbodyi节点的原始输出特征分别为： 和其中c、h、w分别是特征通道数、特征的高和宽，构建2D卷积操作算子F2Dconv，分别将和的通道数扩充为原来的两倍，得到扩充后特征和计算公式如下： 式中，代表通道扩充后的可见光RGB特征矩阵，代表通道扩充后的远红外FIR特征矩阵； 步骤1‑2：利用通道特征融合模块将步骤1‑1通道扩展后的分支特征进行融合，步骤如下： 步骤1‑2‑1：利用sigmoid激活函数Fsigmoid，将远红外通道扩展特征按通道逐一进行归一化，获取空间重要性权重值计算公式如下： 式中，代表通道j的空间重要性权重矩阵； 步骤1‑2‑2：利用哈达玛积运算，将FIR特征空间重要性权重值与RGB通道扩展特征按通道进行元素相乘，获取融合特征计算公式如下： 式中，代表通道j的融合特征矩阵，为哈达玛积运算； 步骤1‑2‑3：在特征下采样模块中，构建2×2最大池化算子FMP，对融合特征进行局部最大池化，使得输出特征图下降为原特征图分辨率的12，获取与Resblockbodyi+1节点原始输出特征分辨率相同的特征，具体计算公式如下： 式中，代表通道j的下采样后融合特征矩阵； 步骤1‑2‑4：在空间权重生成模块中，利用sigmoid激活函数Fsigmoid，将下采样融合特征按通道进行归一化，生成跨模态上下文融合特征空间重要性权重矩阵具体计算公式如下： 式中，代表通道j的跨模态上下文融合特征空间重要性权重矩阵； 步骤1‑2‑5：利用跨模态上下文融合特征空间重要性权重矩阵对RGB、FIR各分支的Resblockbodyi+1节点原始输出特征按通道进行空间重要性优化，获取1次优化特征，具体计算公式如下： 式中，代表RGB分支CSPDarknet网络中Resblockbodyi+1节点通道j的1次优化特征矩阵，代表FIR分支CSPDarknet网络中Resblockbodyi+1节点通道j的1次优化特征矩阵，为哈达玛积运算； 所述步骤2中，利用CBAM注意力模型FCBAM，将步骤1获取的RGB、FIR各分支Resblockbodyi+1的1次优化特征和再次进行通道与空间上的优化，获取各分支Resblockbodyi+1的2次优化特征，具体计算公式如下： 式中，代表RGB分支CSPDarknet网络中Resblockbodyi+1节点通道j的2次优化特征矩阵，代表FIR分支CSPDarknet网络中Resblockbodyi+1节点通道j的2次优化特征矩阵，FCBAM代表CBAM通道‑空间注意力算子； 所述步骤3中，将步骤2中获取各分支Resblockbodyi+1的2次优化特征作为输入，构建特征融合模型，获取Resblockbodyi+1节点的RGB‑FIR多模态融合特征，具体步骤如下： 步骤3‑1：将步骤2中RGB、FIR各分支Resblockbodyi+1的2次优化特征和作为输入，构建特征融合模型，所述的特征融合模型由通道拼接模块Concat、卷积模块Conv和自注意力模块Self‑attention组成，具体步骤如下： 步骤3‑1‑1：在通道拼接模块中，将RGB和FIR各分支Resblockbodyi+1的2次优化特征和按通道进行拼接操作FCat，计算公式如下： 式中，代表RGB和FIR分支Resblockbodyi+1的2次优化特征的通道拼接特征，FCat代表通道拼接算子； 步骤3‑1‑2：在卷积模块，利用卷积算子Fconv压缩拼接后的特征通道，具体计算公式如下： 步骤3‑1‑3：在自注意力模块中，利用自注意力算子Fself，对步骤3‑1‑2中得到的进行重要性权重调节，获得Resblockbodyi+1节点的最终RGB‑FIR融合特征计算公式如下： 式中，M表示通道个数，T为转置操作，·为矩阵相乘。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南通大学，其通讯地址为：226000 江苏省南通市啬园路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。