买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利一种基于过渡模态的RGB-D跨模态行人识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117037210B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310963056.6，技术领域涉及：G06V40/10；该发明授权一种基于过渡模态的RGB-D跨模态行人识别方法是由吴晶晶;洪日昌设计研发完成，并于2023-07-31向国家知识产权局提交的专利申请。

本一种基于过渡模态的RGB-D跨模态行人识别方法在说明书摘要公布了：本发明提供了一种基于过渡模态的RGB‑D跨模态行人识别方法。该方法包括：获取包括行人信息的深度图像以及RGB图像，利用模态生成操作生成深度图像与RGB图像的过渡模态图像；利用三流网络和深层网络提取三模态图像的特征，将深度图像、RGB图像和过渡模态图像输入到三模态转换器中得到嵌入了不同模态关系的三个模态特征；利用跨模态对比损失函数减小不同模态间的特征差异，得到训练好的跨模态图像行人识别模型，将待搜索行人的RGB图像和深度模态图像的候选库输入到训练好的跨模态图像行人识别模型，获取搜索到的行人的深度图像。本发明使用跨模态对比学习来同时约束两个模态特征，通过对比学习使输入的两个模态特征更加的相似，提升过渡模态的生成质量。

本发明授权一种基于过渡模态的RGB-D跨模态行人识别方法在权利要求书中公布了：1.一种基于过渡模态的RGB-D跨模态行人识别方法，其特征在于，包括： 获取包括行人信息的深度图像以及RGB图像，利用模态生成操作生成深度图像与RGB图像的过渡模态图像； 将所述深度图像、RGB图像和过渡模态图像输入到三流网络和深层网络中，该三流网络和深层网络提取所述深度图像、RGB图像和过渡模态图像的特征，利用基本损失函数约束上述特征的学习过程； 将属于相同类别的深度图像、RGB图像和过渡模态图像各采样出多张，组成三模态序列，将三模态序列输入到三模态转换器中建模并整合三个模态间关系，再送入识别一致损失中，输出嵌入了不同模态关系的三个模态特征； 将嵌入了不同模态关系的三个模态特征分别输入到跨模态对比损失函数中，减小不同模态间的特征差异，重复进行上述处理过程，得到训练好的跨模态图像行人识别模型，该模型包括过渡模态图像生成模块、各模态图像特征的学习过程、三模态转换器和损失函数计算模块； 将待搜索行人的RGB图像和包含M张深度模态图像的候选库输入到所述训练好的跨模态图像行人识别模型，跨模态图像行人识别模型输出待搜索模态图像的特征以及深度模态候选库中所有图片的特征，计算与每一个的欧式距离，并从小到大进行排序，将距离最小的对应的深度图作为为搜索到的行人的深度图像； 所述的将属于相同类别的深度图像、RGB图像和过渡模态图像各采样出多张，组成三模态序列，将三模态序列输入到三模态转换器中建模并整合三个模态间关系，再送入识别一致损失中，输出嵌入了不同模态关系的三个模态特征，包括： 从三个模态中采样类别i的N个样本，将三个模态的特征和作为元素组成三模态序列，使用了三模态转换器去获取序列中的成对的关系，所述三模态转换器网络由多个注意力块串联的块组成，每个跨模态的注意力块首先使用两个卷积层将序列映射到两个不同的空间中，并减小序列的通道数至1M，然后使用M个并行的多头注意力网络去获取任意两个元素间的关系； 每个注意力网络计算任意映射后的两个特征中任意两个元素间的点积作为元素间的注意力关系，为每一个元素累积了序列中所有元素对其的影响；多头注意力网络连接了M个注意力网络所得到的修整后的元素，并将它们与初始的序列相加，用于修整原始序列中的元素表征，修整后的每个元素包含了其和相同模态下的图像间的关系，以及其和另外两个模态间的关系； 将修整后的特征输入到多层感知机中得到该块的输出，M个块的最终输出的嵌入了不同模态关系的三个模态特征被记做Ti，Ti＝[T0,T1,TN,...,T3N]，T0是可以学习的类标志，后3N个元素包含了三个模态的N个样本的特征，分别将Ti输入到跨模态对比和识别一致损失中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230002 安徽省合肥市屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。