买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉燕山大学申请的专利基于CNN和transformer的跨模态人群计数方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115526862B 。

龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211208011.X，技术领域涉及：G06T7/00；该发明授权基于CNN和transformer的跨模态人群计数方法是由张世辉;王威;韩雪强设计研发完成，并于2022-09-30向国家知识产权局提交的专利申请。

本基于CNN和transformer的跨模态人群计数方法在说明书摘要公布了：本发明公开了基于CNN和transformer的跨模态人群计数方法，本发明包括以下步骤：将RGB图像和热度图像输入由CNN组成的双分支网络的各分支中，学习双模态图像的模态特定特征；新颖的跨模态transformer连接CNN双分支网络并学习不同模态图像的全局特征，融合模态特定特征和模态全局特征；跨层连接结构连接网络不同层的融合后的特征图，并经分支注意力模块增强融合的特征图的通道信息；跨模态注意力模块提取不同模态间的互补信息，增强跨模态特征表示；将跨模态注意力模块提取的特征图送入尾部网络中，生成密度图；将密度图逐像素相加得到人群计数结果，本发明可以有效完成人群任意分布的拥挤场景下跨模态人群计数任务。

本发明授权基于CNN和transformer的跨模态人群计数方法在权利要求书中公布了：1.基于CNN和transformer的跨模态人群计数方法，其特征在于,包括如下步骤： 1将RGB图像和热度图像分别输入由CNN组成的双分支网络结构中的RGB特征提取网络分支和热度特征提取网络分支中，分别得到RGB特征图和热度特征图，所述双分支网络结构中的每个分支都包括12个卷积层和3个最大池化层； 2将步骤1中得到的RGB特征图和热度特征图作为输入，通过维度变换将上述特征图转换为序列向量，将序列向量输入跨模态transformer中，学习不同模态特征图的跨模态全局特征，得到由跨模态transformer提取的具有跨模态全局特征的RGB序列向量和热度序列向量；RGB特征图和热度特征图的维度均是C×H×W，其中，C、H、W分别是通道数、高度和宽度；序列向量的形状是K×E，其中，K、E分别是序列向量的序列数和一维向量长度；所述步骤2中将特征图转换为序列向量的详细流程为： 将高为H，宽为W的特征图分割成4×4的图像块，那么C个通道的同一位置的所有图像块按顺序展成一维向量并进行首尾相接，得到完整的一维向量长度为E＝C×4×4,一共有个相同长度的一维向量，即得到E和K；所述步骤2中获取具有跨模态全局特征的RGB序列向量和热度序列向量的具体步骤为： 首先，将RGB序列向量、热度序列向量乘以其权重矩阵得到Value’矩阵，将RGB序列向量、热度序列向量进行层标准化，保持了数据特征分布的稳定性，能加速模型收敛效果，将层标准化后的RGB序列向量、热度序列向量与其权重矩阵相乘得到Query矩阵； 然后，对层标准化后的RGB序列向量、热度序列向量进行空间金字塔下采样操作，进一步提取序列向量、热度序列向量的语义信息； 再将经过空间金字塔下采样的RGB序列向量和热度序列向量进行拼接，从而融合两种模态的特征，与对应的两种权重矩阵相乘得到Key矩阵和Value矩阵； 最后，将Query矩阵与Key矩阵进行矩阵相乘后并进行逻辑回归，得到的结果与Value进行矩阵相乘，再加上Value'矩阵，最终得到具有跨模态全局特征的RGB序列向量和热度序列向量；所述跨模态transformer处理过程如下方公式所示： QRGB＝LNERGBWQ1， QThermal＝LNEThermalWQ K＝ConcatDWLNERGB,DWLNEThermalWK2， V＝ConcatDWLNERGB,DWLNEThermalWV3， V′RGB＝ERGBWV'4， V′Thermal＝EThermalWV' 其中，LN·表示层标准化；Concat·表示拼接操作；W表示权重矩阵；DW·表示空间金字塔下采样操作；V'表示原始的序列向量经过残差连接来保留的更多原始模态信息；Q、K、V分别表示transformer的Query矩阵、Key矩阵以及Value矩阵；ERGB表示RGB序列向量；MHAQ,K,V,V'表示跨模态transformer的多头注意力操作；dk表示缩放因子； 3将步骤2得到的RGB序列向量和热度序列向量分别重塑为跨模态RGB特征图和跨模态热度特征图，将跨模态RGB特征图与由CNN组成的双分支结构提取的RGB特征图融合，将跨模态热度特征图与由CNN组成的双分支结构提取的热度特征图融合，分别得到融合后的RGB特征图和融合后的热度特征图；所述步骤3的详细流程为： 将跨模态transformer提取的具有跨模态全局特征的RGB序列向量，通过上采样操作与RGB特征图的空间维数对齐，再通过卷积核为1×1卷积操作将E与RGB特征图的C对齐，得到跨模态RGB特征图，将跨模态RGB特征图与RGB特征图进行像素级相乘得到融合后的RGB特征图； 同理将跨模态transformer提取的具有跨模态全局特征的热度序列向量，通过上采样操作与热度特征图的空间维数对齐，再通过卷积核为1×1卷积操作将E与热度特征图的C对齐，得到跨模态热度特征图，将跨模态热度特征图与热度特征图进行像素级相乘得到融合后的RGB特征图； 4将融合后的RGB特征图和融合后的热度特征图分别经跨层连接结构连接，得到输出RGB特征图和输出热度特征图； 5将跨层连接结构的输出RGB特征图和输出热度特征图输入跨模态注意力模块中，融合彼此的特征图，得到新的特征图； 6将新的特征图输入尾部网络，经一系列计算得到估计的密度图，所述尾部网络包括4个卷积层； 7将所得密度图逐像素相加，得到估计的人数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人燕山大学，其通讯地址为：066004 河北省秦皇岛市海港区河北大街438号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。