买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利一种基于完备属性识别增强的行人属性跨模态对齐方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117037209B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310906786.2，技术领域涉及：G06V40/10；该发明授权一种基于完备属性识别增强的行人属性跨模态对齐方法是由牛凯;张艳宁;龙禹舟设计研发完成，并于2023-07-24向国家知识产权局提交的专利申请。

本一种基于完备属性识别增强的行人属性跨模态对齐方法在说明书摘要公布了：本发明公开了一种基于完备属性识别增强的行人属性跨模态对齐方法，该方法首先引入语句结构分析策略提取行人包含的属性，并选择其中的高频属性构建高频属性词汇表；而后设计了一种基于高频属性词汇表的属性识别及增强模块，同时进行互补的上下文预测和属性级预测；其次设计了一种属性完备学习模块，该模块判断高频属性在特征图中对应的位置并进行筛选，同时将剩余部分看作低频属性，分别将高频属性以及低频属性与另一模态的全局上下文特征进行跨模态的对齐学习；最终获得能够同时较好建模高频和低频属性的更具判别力的特征向量。本发明可以有效解决外观相似情况下的自然语言跨模态行人重识别任务中行人属性准确语义对齐的问题。

本发明授权一种基于完备属性识别增强的行人属性跨模态对齐方法在权利要求书中公布了：1.一种基于完备属性识别增强的行人属性跨模态对齐方法，其特征在于，包括如下步骤： 步骤1：首先对数据集中的语句进行预处理，对其进行分词及词性标注，丢弃掉与属性无关的词语，将剩余的属性词进行词频统计，选择频率最大的nc个单词构建高频属性词汇表； 步骤2：模型分为语句支路和视觉支路，分别用于处理自然语言描述和行人图像；在语句支路中，利用词向量嵌入方法将单词编码为词向量，而后输出语句特征图其中d,ht和wt分别为特征维度、语句特征图的高度和宽度；最后对T执行全局池化操作，输出语句全局上下文特征步骤3：基于步骤1中构建的高频属性词汇表，根据语句中是否包含该高频属性词汇表中的属性，分别为每个语句构造属性真值向量步骤4：设计第一基于高频属性词汇表的属性识别及增强模块，用于判断语句特征是否包含高频属性并实现其语义的建模增强；所述第一基于高频属性词汇表的属性识别及增强模块包括互补的上下文预测分支和属性级预测分支； 在第一基于高频属性词汇表的属性识别及增强模块中，上下文预测分支用于从存在性角度判别语句特征是否包含高频属性，首先将步骤2中获得的语句特征图T输入语句属性级分类器以获得关于T的高频属性指示器其次对执行正则化操作以获得对T加权聚集处理的参数，而后利用该参数对T进行重新聚合，得到语句单模态全局上下文特征空间的特征表示最后，使用跨模态共享的属性空间投影器将Tc映射到属性类别空间，输出作为上下文预测分支的结果； 在第一基于高频属性词汇表的属性识别及增强模块中，属性级预测分支用于从完整性角度判别语句特征中所含多个属性的语义完整性；首先将T输入跨模态共享的属性空间投影器以获得每一种高频属性在T中存在区域的指示器其次对执行正则化操作以获得对T加权聚集处理的参数，而后通过利用该参数对T进行重新聚合，得到语句单模态在属性空间的特征表示最后使用属性级分类器对Ta的每一种属性执行置信度判断，输出作为属性级预测分支的结果； 步骤5：设计第一属性完备学习模块，用于实现T中高、低频属性的非重叠划分； 首先引入概率抽样策略生成与步骤4获得的具有相同尺寸的随机矩阵而后逐位置比较和以生成语句单模态高频属性硬掩膜，硬掩模覆盖的区域被视为包含高频属性特征，特征图剩余部分则被视为包含低频属性特征；最后分别对两个特征图执行池化操作，输出词汇表内高频语句属性特征和词汇表外低频语句属性特征步骤6：在视觉支路中，首先将数据集中的行人RGB彩色图像调整为统一的大小，然后将该图像输入卷积神经网络，卷积神经网络含有多个卷积层与全连接层，输出视觉特征图其中d,hv和wv分别为特征维度、视觉特征图的高度和宽度；其次将视觉特征图V执行全局池化操作，输出视觉全局上下文属性特征步骤7：设计第二基于高频属性词汇表的属性识别及增强模块，用于判断视觉特征是否包含高频属性并实现其语义的建模增强；所述第二基于高频属性词汇表的属性识别及增强模块与第一基于高频属性词汇表的属性识别及增强模块结构相同，也包括互补的上下文预测分支和属性级预测分支； 在第二基于高频属性词汇表的属性识别及增强模块中，上下文预测分支用于从存在性角度判别视觉特征是否包含高频属性，首先将步骤6中获得的视觉特征图V输入属性级分类器以获得关于V的高频属性指示器其次对执行正则化操作以获得对V加权聚集处理的参数，而后利用该参数对V进行重新聚合，得到视觉单模态在全局上下文特征空间的特征表示最后使用跨模态共享的属性空间投影器将Vc映射到属性类别空间，输出作为上下文预测分支的结果； 在第二基于高频属性词汇表的属性识别及增强模块中，属性级预测分支用于从完整性角度判别视觉特征中所含多个属性的语义完整性；首先将V输入跨模态共享的属性空间投影器以获得每一种高频属性在V中存在区域的指示器其次对执行正则化操作以获得对V加权聚集处理的参数，而后通过利用该参数对V进行重新聚合，得到视觉单模态在属性类空间的特征表示最后使用属性级分类器对Va的每一种属性执行置信度判断，输出作为属性级预测分支的结果； 步骤8：设计第二属性完备学习模块，用于实现V中高、低频属性的非重叠划分，第二属性完备学习模块与第一属性完备学习模块结构相同；首先引入概率抽样策略生成与步骤7获得的具有相同尺寸的随机矩阵而后逐位置比较和以生成视觉单模态高频属性硬掩膜，硬掩模覆盖的区域被视为包含高频属性特征，特征图剩余部分则被视为包含低频属性特征；最后分别对两个特征图执行池化操作，输出词汇表内高频视觉属性特征和词汇表外低频视觉属性特征步骤9：进行高频属性的预测和增强学习； 在语句支路中，使用步骤2获得的属性真值Agt分别与步骤4得到的语句上下文预测结果和属性级预测结果计算交叉熵损失，而后加和两个分支损失得到语句模态损失同时，在视觉支路中，使用步骤2获得的属性真值Agt分别与步骤7得到的视觉上下文预测结果和属性级预测结果计算交叉熵损失，而后加和两个分支损失得到视觉模态损失最后，两个基于高频属性词汇表的属性识别及增强模块总体损失最终表示为优化该损失能提升模型对高频属性的识别及增强效果； 步骤10：采用单向交叉模态投影匹配方法，仅用一种模态的高频属性和低频属性与另一模态的全局上下文特征进行跨模态的属性对齐； 在语句到视觉的方向上，使用步骤2和步骤5得到的Tg、Tin、Tout，分别将语句高频，低频属性特征投影至视觉全局特征，而后将高，低频语句属性投影的结果与视觉全局特征分别进行跨模态语义对齐学习，得到语句‑视觉语义对齐损失同时，在视觉到语句的方向上，使用步骤6和步骤8得到的Vg、Vin、Vout，分别将视觉高频，低频属性特征投影至语句全局特征，而后将高，低频视觉属性投影结果与语句全局特征分别进行跨模态语义对齐学习，得到相反方向的视觉‑语句语义对齐损失最后，两个属性完备学习模块的总体损失最终表示为优化该损失能同时提高模型对高频和低频属性的建模能力，缓解低频的属性建模受到高频属性影响的问题； 步骤11：使用双向交叉模态投影匹配方法，将视觉和语句的全局特征在视觉到语句以及相反的语句到视觉两个方向进行双向投影，而后分别进行跨模态语义对齐学习，最终将上述两个方向的对齐结果求和，得到全局上下文对齐损失步骤12：优化全局损失其中λ1和λ2为超参数，用于调节三个损失之间的权重比值；步骤13：采用反向传播算法和Adam优化策略来减小预测整体误差以训练提出的模型，经过多次迭代训练直至收敛，得到最终基于完备属性识别增强的行人属性跨模态对齐模型； 步骤14：利用训练好的行人属性跨模态对齐模型进行测试； 首先将注册的N个行人RGB彩色图像归一化为统一的大小，作为待检索行人图像集合送入训练好的模型进行图像特征提取；其次输入目标行人的查询语句描述，利用训练好的模型进行语言特征提取；而后计算查询语句和待检索行人图像集合中多个样本的相似度；最后按照相似度由大到小的顺序得到行人图像的检索结果序列，其中匹配程度最高的若干行人图像即为输入查询语句的匹配搜索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。