买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学;上海浙江大学高等研究院;上海人工智能创新中心申请的专利一种基于端云协同的多模态融合的行人重识别方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118658190B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410806081.8，技术领域涉及：G06V40/16；该发明授权一种基于端云协同的多模态融合的行人重识别方法与系统是由殷俊;吴飞;陈静远;王舒蕾;赵洲;张圣宇;朱小军设计研发完成，并于2024-06-21向国家知识产权局提交的专利申请。

本一种基于端云协同的多模态融合的行人重识别方法与系统在说明书摘要公布了：本发明公开了一种基于端云协同的多模态融合的行人重识别方法与系统，该方法首先利用不确定性引导采样模块筛选出需要上传到云侧的行人图像。然后，采用多模态行人重识别网络，计算脸部和步态特征的加权平均值并生成自适应融合特征，通过全连接层和softmax函数进行特征分类。此外，本发明方法在云端优化视觉提示，实现了云侧基于提示学习的知识迁移。通过联合优化教师模型和学生模型，改善端侧学生模型的性能。最后，将云侧学习到的视觉提示传递到端侧，并应用于人脸图像和步态图像，以提高行人重识别的准确率。本发明有效地提升了跨外观行人重识别模型的检索性能，同时解决了网络在不同环境下的泛化问题。

本发明授权一种基于端云协同的多模态融合的行人重识别方法与系统在权利要求书中公布了：1.一种基于端云协同的多模态融合的行人重识别方法，其特征在于，包括以下步骤： S1、在端侧将行人图像输入到端侧的不确定性引导采样模块，输出是否需要将行人图像上传至云侧进行处理的判断结果，端侧提取行人图像的人脸图像和步态图像后，若判断结果为需要将行人图像上传至云侧，则将人脸图像和步态图像上传至云侧处理，若判断结果为不需要将行人图像上传至云侧，则使用端侧训练好的多模态行人重识别网络对人脸图像和步态图像进行处理； S2、在端侧将人脸图像和步态图像输入至端侧的多模态行人重识别网络，在端侧的多模态行人重识别网络中，先由特征提取网络提取人脸图像的人脸特征和步态图像的步态特征，将人脸特征和步态特征输入到预训练的上下文自适应性多模态融合模块，得到上下文感知的自适应融合特征，将自适应融合特征依次经过一个全连接层和softmax函数对自适应融合特征进行分类，得到端侧行人图像的分类结果； S3、云侧获取到端侧输出的人脸图像和步态图像，并在云侧联合训练优化经过预训练的学生模型和经过预训练的教师模型；在联合训练优化过程的每个迭代轮次中，将上一个迭代轮次更新后的人脸提示矩阵和人脸图像相加后，得到新的人脸图像，将上一个迭代轮次更新后的步态提示矩阵和步态图像相加后，得到新的步态图像，将新的人脸图像和新的步态图像共同作为上一个迭代轮次更新后的教师模型输入，更新教师模型、人脸提示矩阵以及步态提示矩阵的参数后，将经过更新的教师模型输出的伪标签作为学生模型的真实标签，将新的人脸图像和新的步态图像以及学生模型的真实标签输入到学生模型中进行训练，固定教师模型、人脸提示矩阵以及步态提示矩阵的参数，单独更新学生模型参数，且教师模型和学生模型各自采用一个损失进行参数更新； S4、当教师模型和学生模型训练完毕后，云侧将训练好的学生模型参数、以及人脸提示矩阵参数和步态提示矩阵参数发送至端侧，由端侧使用训练好的学生模型对S1得到的人脸图像和步态图像进行处理，在端侧将S1得到的人脸图像和训练好的人脸提示矩阵相加后，得到待分类人脸图像，将S1得到的步态图像和训练好的步态提示矩阵相加后，得到待分类步态图像，将待分类人脸图像和待分类步态图像共同输入到训练好的学生模型中，得到端侧行人图像的分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学;上海浙江大学高等研究院;上海人工智能创新中心，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。