买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种服装分层特征表示和关联学习的图文匹配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115964523B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310020215.9，技术领域涉及：G06F16/532；该发明授权一种服装分层特征表示和关联学习的图文匹配方法是由刘骊;姜爱萍;付晓东;彭玮;刘利军设计研发完成，并于2023-01-06向国家知识产权局提交的专利申请。

本一种服装分层特征表示和关联学习的图文匹配方法在说明书摘要公布了：本发明涉及一种服装分层特征表示和关联学习的图文匹配方法，属于计算机视觉、人工智能领域。本发明首先通过结合自定义服装结构，构建包含CNN、Faster‑RCNN、级联金字塔网络和RNN的分层特征表示模块，分别提取输入服装图像的全局、款式、结构特征和输入服装文本的描述、主语、标签特征，并进行分层表示；然后，结合四重对比和关联推理对服装图像与文本的全局和描述、款式和主语、结构和标签三层特征进行关联学习，分别得到全局、款式和结构标签三种关系向量；最后，基于三种关系向量计算相似度进行图文匹配，优化排序后得到最终的服装图文匹配结果。本发明能有效用于跨模态时尚检索，具有较高的准确率和效率。

本发明授权一种服装分层特征表示和关联学习的图文匹配方法在权利要求书中公布了：1.一种服装分层特征表示和关联学习的图文匹配方法，其特征在于：包括如下步骤： Step1、通过结合自定义服装结构，构建包含CNN、Faster-RCNN、级联金字塔网络和RNN的分层特征表示模块，分别提取输入服装图像的全局、款式、结构特征和输入服装文本的描述、主语、标签特征，并进行分层表示； Step2、结合四重对比和关联推理对服装图像与文本的全局和描述、款式和主语、结构和标签三层特征进行关联学习，分别得到全局、款式和结构标签三种关系向量； Step3、基于三种关系向量计算相似度进行图文匹配，优化排序后得到最终的服装图文匹配结果； 所述Step1的具体过程如下： 首先，对输入的时尚服装多模态数据集D＝{D1,...,Dk,...,Dd}中的服装图像Ik∈Dk和服装文本Tk∈Dk，其中d表示数据集中的图像文本对数，采用结合CNN和RNN的全局特征提取网络，进行服装的第一层特征表示；通过构建具有门控的二元融合，将提取到的服装图像原始特征forigin和裁剪特征fcrop生成服装图像的全局特征fwhole；对提取到的单词特征序列{w1,...,wj,...,wo}进行全局平均池化后得到服装文本的描述特征gwhole，o表示文本中的单词数； 然后，结合Faster-RCNN和属性聚合进行服装的第二层特征表示；基于预训练的Faster-RCNN对输入的服装图像Ik进行款式检测，生成包括类别特征fclass、坐标特征fposition和感兴趣区域特征fr的服装款式特征fstyle＝{r1,...,ri,...,rm}，其中[,]表示拼接操作；再采用NLP依赖分析工具，从服装文本Tk中获得各个句子的主语以及其被依赖关系，结合单词序列{w1,...,wj,...,wo}得到主语{o1,...,oj,...,ox}和属性依赖{a1,...,aj,...,ay}，并通过定义带有门控注意的属性聚合，将若干属性依赖融合至对应的主语，得到主语特征gsubject＝{s1,..,sj,...,sn}，其中σ为激活函数，C为主语对应的属性依赖个数，Ws为映射矩阵； 最后，通过结合自定义的服装结构和级联金字塔对服装进行第三层特征表示；定义基于服装对称区域关键点的服装结构，包括双袖、领部、胸部、腰部、胯部、腿部，采用级联金字塔和去掉全连接层的ResNet网络对输入服装图像中对应的服装结构区域进行特征提取，得到结构特征fstructure＝{l1,...,li,...,lp}，其中p表示结构数目，li表示第i个服装结构特征；再通过NLP语法分析对服装图像对应的文本形容词以及标签进行挖掘，分别得到两部分标签特征和其中kj由第j个形容词编码与其归属编码拼接得到，t和q分别表示两部分服装标签数目，合并后得到服装文本的标签特征 所述Step2的具体过程如下： 首先，基于Step1中得到的服装图像与文本的全局和描述、款式和主语、结构和标签三层特征，通过定义从图像到文本的InfoNCE损失函数进行两两特征模态间的四重对比，其中τ是温度超参数，是一组与I不匹配的文本负例，simI,T+＝WffTWg+g+，Wf与Wg+是映射矩阵； 其次，通过计算高纬关联度其中|·|2和||·||2表示逐元素平方差和二范式，W是参数矩阵，x和y分别是两个特征向量，得到三层特征间的初始关联关系：初始全局关系Rwhole＝sfwhole,gwhole；W1、初始款式关系其中r＝m×n，初始结构标签关系其中z＝p×q， 然后，采用图卷积，分别在第二层初始款式关系Rstyle、第三层初始结构标签关系Rstru-lab和所有三层关系Rall＝Rwhole∪Rstyle∪Rstru-lab上构建图结构，分别得到款式关系图Gα＝Vα,Eα、结构标签关系图Gβ＝Vβ,Eβ和合并关系图Gall＝Vall,Eall，其中，Vα＝Rstyle表示以初始款式关系为图Gα的节点集，Eα表示图Gα的边集，用邻接矩阵表示；Vβ＝Rstru-lab表示以初始结构标签关系为图Gβ的节点集，Eβ表示图Gβ的边集，用邻接矩阵表示；Vall＝Rall表示以全局、款式和结构标签关系为图Gall的节点集，Eall表示图的边集Gall，用邻接矩阵表示； 最后，定义图卷积操作其中为第i个节点的第l+1次图卷积更新特征向量，和为可学习的参数矩阵，Aij为第i个节点对第j个邻节点的邻接权重，Ni为节点i的邻域节点集，gj为邻域中第j个节点向量；先对款式关系图Gα、结构标签关系图Gβ进行第一次关联推理，得到一次推理全局关系一次推理款式关系和一次推理结构标签关系再对合并关系图Gall进行第二次关联推理，得到二次推理全局关系二次推理款式关系和二次推理结构标签关系通过分层注意融合推理，分别得到全局关系向量款式关系向量和结构标签关系向量其中，给定R＝{s1,...,si,...,sD}，融合权重为δ·表示Sigmoid函数，BN·表示批次内规范化，Wm是可学习的变换矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650500 云南省昆明市呈贡区景明南路727号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。