买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利基于自监督学习和预训练模型的跨模态行人重识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116052057B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310124738.8，技术领域涉及：G06V20/40；该发明授权基于自监督学习和预训练模型的跨模态行人重识别方法是由孙锐;谢瑞瑞;陈龙;杜云;张旭东设计研发完成，并于2023-02-16向国家知识产权局提交的专利申请。

本基于自监督学习和预训练模型的跨模态行人重识别方法在说明书摘要公布了：本发明公开了一种基于自监督学习和预训练模型的跨模态行人重识别方法，其步骤包括：1、获取大规模的无标签行人数据集，并利用跨模态灾难性遗忘评分对采集到的行人数据集进行筛选；2、将筛选出的行人数据通过通道组合模块生成正负样本，构建自监督对比学习网络分别提取负样本和正样本特征；3、通过双向对比损失函数约束正样本与负样本之间的特征距离，以此训练得到预训练模型；4、将训练得到的编码器迁移至其他跨模态行人重识别模型进行微调后，得到微调后的跨模态行人重识别模型。本发明通过通道组合方法，从同一张图像中分离出正负样本并完成自监督训练，从而能提高红外与可见光的行人再识别的准确度。

本发明授权基于自监督学习和预训练模型的跨模态行人重识别方法在权利要求书中公布了：1.一种基于自监督学习和预训练模型的跨模态行人重识别方法，其特征在于，包括如下步骤： 步骤1、预训练数据的获取与预处理； 步骤1.1、利用YOLO算法从视频中采集M张可见光行人图像并进行归一化预处理，得到可见光数据集，其中，表示第m张可见光行人图像； 利用近红外相机采集N个行人的近红外行人图像并进行归一化预处理，得到近红外数据集，其中，表示近红外图像数据集，且，表示第n张近红外行人图像，为的身份标签数据集； 步骤1.2、使用通道增强方法将可见光数据集转换为与近红外更相近的第三模态，得到可见光增强数据集；其中，表示第m张可见光增强行人图像； 步骤1.3、利用式1计算第m张可见光增强行人图像与第m张近红外行人图像间的跨模态灾难性遗忘评分，用于度量第m张可见光增强行人图像与近红外行人图像的特征距离： 1 式1中，表示在可见光数据集上进行无监督预训练的编码器，表示在近红外图像数据集上进行有监督训练的编码器； 步骤1.4、按照步骤1.3的过程得到所有可见光增强行人图像分别与各个近红外行人图像间的特征距离，并从中筛选出距离最近的张可见光行人图像，用于构建无标签的预训练数据集；其中，表示筛选出的第张可见光行人图像； 步骤2、构建通道组合模块与对比学习网络，所述通道组合模块用于生成正样本图像，所述对比学习网络用于提取图像特征； 步骤2.1、所述通道组合模块包括：通道分离复制单元、通道擦除单元、通道叠加单元；并输入所述通道组合模块中进行处理，得到的正样本图像对集合； 所述通道分离复制单元对任意一张可见光行人图像的R、G、B三通道进行分离与复制，得到可见光行人图像在三通道上的若干个复制图像； 所述通道擦除单元利用通道擦除函数对可见光行人图像在三通道上的若干个复制图像分别进行部分像素的擦除； 所述通道叠加单元从可见光行人图像在三通道上擦除后的若干个复制图像中随机选取三个复制图像进行组合，得到一个组合图像，从而得到可见光行人图像的若干个组合图像，并由任意两个组合图像构成一个正样本图像对； 步骤2.2、所述对比学习网络由两个编码器,、一个线性降维模块、一个记忆存储库模块组成； 将的正样本图像对集合中任意一个正样本对中的一个组合图像视为一个锚点并输入编码器中进行处理，将正样本对中的另外一个组合图像视为正样本，将预训练数据集中除外的其他图像视为负样本集合，并与一起输入编码器中进行处理，从而得到锚点、正样本、负样本集合的初步特征； 所述线性降维模块由包含两层全连接层和Relu函数的MLP层组成，并用于对锚点、正样本、负样本集合的初步特征进行线性降维，得到降维后的锚点、正样本、负样本集合的特征； 所述记忆存储库模块为队列结构，用于动态存储降维后的负样本集合的特征； 步骤3、使用式2建立反向传播的双重对比损失函数： 2 式2中，，为比例系数，且；为降维后的锚点的特征；为降维后的正样本的特征，为降维后的负样本集合的特征中任意第i个特征；为温度系数；表示降维后的负样本集合的特征数； 步骤4、利用梯度下降法对所述对比学习网络进行训练，并计算双重对比损失函数以更新网络参数，当损失函数的值小于所设定的阈值或训练迭代次数达到所设定的要求时，完成训练，并得到最优预训练模型； 步骤5、将所述预训练模型迁移至跨模态行人重识别模型上，并将近红外数据集输入到迁移后的跨模态行人重识别模型上进行训练，以微调跨模态行人重识别模型的参数，从而得到微调后的跨模态行人重识别模型，用于对待预测的近红外图像数据进行跨模态行人重识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。