买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室;中山大学申请的专利基于相关性匹配的跨模态图文检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117972122B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311512397.8，技术领域涉及：G06F16/43；该发明授权基于相关性匹配的跨模态图文检索方法是由任传贤;邱显东;李太豪设计研发完成，并于2023-11-13向国家知识产权局提交的专利申请。

本基于相关性匹配的跨模态图文检索方法在说明书摘要公布了：本发明涉及图文检索技术领域，公开了基于相关性匹配的跨模态图文检索方法，包括以下具体步骤：S1：对训练图像与文本进行特征提取；S2：得到图像嵌入空间特征及文本嵌入空间特征；S3：将图像嵌入空间特征及文本嵌入空间特征投影到标签空间；在标签空间中计算包括判别性损失，匹配关系损失以及相关性损失的总损失函数；S4：根据总损失函数训练特征提取器与共享分类器；S5：获取待检索的多模态数据，利用训练好的特征提取器及共享分类器将多模态数据特征投影到共享子空间中，进行跨模态图文检索。本发明解决了现有技术中多模态特征在子空间中存在差异性的问题，且具有能够降低计算的时间复杂度，提升检索效率的特点。

本发明授权基于相关性匹配的跨模态图文检索方法在权利要求书中公布了：1.基于相关性匹配的跨模态图文检索方法，其特征在于：包括以下具体步骤： S1：获取训练图像与文本；对训练图像与文本进行特征提取，得到图像特征与文本特征； S2：构建与图像特征与文本特征对应的2个特征提取器与1个共享分类器；分别将图像特征与文本特征输入其对应的特征提取器，得到图像嵌入空间特征及文本嵌入空间特征；其具体为： 其中，为图像嵌入空间特征，为文本嵌入空间特征，，为共享子空间维度； S3：通过共享分类器将图像嵌入空间特征及文本嵌入空间特征投影到标签空间；在标签空间中计算包括判别性损失，匹配关系损失以及相关性损失的总损失函数；其具体为： 计算判别性损失： 记训练样本的标签信息为，Y为0-1独热向量,将用共享分类器投影到标签空间，计算得到判别性损失： 其中为所有样本组成的特征矩阵，表示Frobenius范数； 计算匹配关系损失： 记样本之间的匹配关系的先验分布为: 定义特征之间通过欧式距离计算得到的匹配概率为： 计算两个分布之间的Kullback-Leibler散度，得到第1方向的匹配关系损失: 同理调换U和V的顺序计算第2方向的匹配关系损失: 将第1方向、第2方向的匹配关系损失相加得到匹配关系损失； 计算相关性损失： 对进行特征做均值归零处理： 计算低秩行近似相关性损失： 其中表示图像特征和文本特征的协方差矩阵，表示迹运算； 计算总损失函数： 其中为超参数； S4：根据总损失函数训练特征提取器与共享分类器，训练时通过反向传播更新特征提取器与共享分类器的网络参数； S5：获取待检索的多模态数据，利用训练好的特征提取器及共享分类器将多模态数据特征投影到共享子空间中，进行跨模态图文检索。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室;中山大学，其通讯地址为：311121 浙江省杭州市文一西路1818号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。