买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江南大学申请的专利一种基于多层级表征的面料跨模态图文检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115168634B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210922659.7，技术领域涉及：G06F16/532；该发明授权一种基于多层级表征的面料跨模态图文检索方法是由潘如如;张宁;向军;周建;王蕾设计研发完成，并于2022-08-02向国家知识产权局提交的专利申请。

本一种基于多层级表征的面料跨模态图文检索方法在说明书摘要公布了：本发明属于面料检索方法领域，涉及一种基于多层级表征的面料跨模态图文检索方法。所述方法步骤如下：建立包含图像和文本数据的产品库；构建图像多层级表征模型处理图像；构建文本多层级表征模型处理文本，得到产品库中文本数据的多层级特征描述，与图像数据的多层级特征描述形成对应关系；构建图文层级特征匹配模型，处理得到的图文多层级特征描述，进行图文特征的层级匹配；制定检索策略，进行图文特征的相似性度量，并根据相似性的大小将相应的文本或图像按顺序进行显示；将检索结果中图像对应的织物工艺单或文本对应的图像调出，以指导生产。本发明具有较高的检索准确率和灵活性，在跨模态检索的工业应用领域具有非常大的潜力。

本发明授权一种基于多层级表征的面料跨模态图文检索方法在权利要求书中公布了：1.一种基于多层级表征的面料跨模态图文检索方法，其特征在于，包括以下步骤：S1：建立包含图像和文本数据的产品库；从所述的产品库中选择成对的图像和文本数据构建跨模态图文检索数据集，用于模型训练和验证，包括训练集、验证集和测试集；S2：构建图像多层级表征模型处理图像，得到产品库中图像数据的多层级特征描述；所述的图像多层级表征模型以卷积神经网络作为底层框架，从多个视角构建多任务图像分类模型，挖掘图像不同层级的特征；S3：构建文本多层级表征模型处理文本，得到产品库中文本数据的多层级特征描述，与图像数据的多层级特征描述形成对应关系；所述的文本多层级表征模型以双向循环神经网络作为底层框架，结合注意力机制抽取文本关键词对复杂的语义依存信息进行简化，并增加全局约束进行层级表征；S4：构建图文层级特征匹配模型，处理S2和S3得到的图文多层级特征描述，进行图文特征的层级匹配；于本步骤中，所构建的图文层级特征匹配模型，通过设计双向掩蔽修复模型来匹配不同层级的图文特征，并在联合嵌入空间约束全局相似性，每次对图像或文本特征的某一层级下的特征进行掩蔽，采用对应的文本或图像特征进行修复，实现图文层级特征的匹配；全局约束将图文特征I和T映射到联合嵌入空间，使得匹配图文对的相似性和非匹配图文对的相似性的差异尽可能大；采用三元组损失函数作为全局优化目标； 其中，d.表示相似性度量函数，α表示maxgin参数，[x]+＝maxx,0；I,T表示匹配的图文对，I′,T和I,T′表示非匹配的图文对；对于双向掩蔽修复模型，假设修复后的图像和文本特征向量分别为和特征维度为D，则图像和文本掩蔽修复的损失函数和设计如下： 其中，λ为超参数，M为二进制掩码，0表示掩蔽部分，1表示原始部分；通过综合全局匹配和层级匹配的损失函数进行模型训练，并设置相应权重β1、β2和β3，得到最终的目标函数 S5：制定检索策略，进行图文特征的相似性度量，并根据相似性的大小将相应的文本或图像按顺序进行显示；所述的检索策略根据S2和S3构建的图像和文本多层级表征模型的层级类别预测对产品库中的数据进行检索池划分，逐级细化搜索空间，并根据类别分布概率确定检索场景，判断是否跨池检索以及跨池的数量；S6：将检索结果中图像对应的产品工艺单或文本对应的图像调出，以指导生产；所述的步骤S2中，构建的图像多层级表征模型以卷积神经网络作为底层结构，从多个视角构建多任务分类模型引导学习图像的多层级特征描述；选用VGG-16网络作为底层结构，从面料花型、组织、风格、颜色和品类五个视角构建模型，以两个任务的面料表征模型设计的损失函数定义如下： 其中，和表示交叉熵损失函数，{w,s1,s2}为网络学习参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江南大学，其通讯地址为：214122 江苏省无锡市滨湖区蠡湖大道1800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。