买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利基于图片映射器和文本自遮掩映射器的组合图像检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119441514B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411438579.X，技术领域涉及：G06F16/43；该发明授权基于图片映射器和文本自遮掩映射器的组合图像检索方法是由吴一鸣;李雨佚;梁荣华设计研发完成，并于2024-10-15向国家知识产权局提交的专利申请。

本基于图片映射器和文本自遮掩映射器的组合图像检索方法在说明书摘要公布了：基于图片映射器和文本自遮掩映射器的组合图像检索方法，包括：先对输入的图片进行缩放加噪等操作，然后输入到冻结的预训练图像编码器中，得到图像特征利用图像映射器将图像特征转化成伪词标记s1,利用文本自遮掩映射器将图像特征转化成伪词标记s2，分别将其替换预先提供的提示文本中的标记符号，并将输入的修改文本拼接到提示文本之后，得到两个新的文本x1，x2。将文本x1，x2分别输入到冻结的预训练文本编码器中，得到两个特征，将两个特征进行均值融合，最后将得到的均值特征与目标图像进行对比。本发明既解决了使用昂贵三元组训练组合图像检索模型的缺点，也提高了模型对组合图像检索下游任务的泛化能力。

本发明授权基于图片映射器和文本自遮掩映射器的组合图像检索方法在权利要求书中公布了：1.一种基于图片映射器和文本自遮掩映射器的组合图像检索方法，其特征在于，使用图片和图片标题文本训练图片映射器以及文本自遮掩映射器，包括以下步骤： 步骤1，读取数据集，将图片和图片标题文本作为模型的数据输入；具体包括： 步骤1.1，先将图片缩放到预定的大小，并执行水平翻转、随机增加高斯噪声进行数据增强； 步骤1.2，利用自然语言工具中的标记提取器从图片标题文本中提取关键词，将提取出的关键词加入到一个列表中并进行去重，得到一个关键词列表，这个列表中记录了所述图片标题文本中包含的所有关键字； 步骤1.3，遍历关键词列表，将图片标题文本中的关键词替换为‘[]’符号，获得新的文本描述； 步骤2，训练图片映射器，将图像特征转化为伪语言标记嵌入：其中s为伪语言标记嵌入，为图像特征；具体包括： 步骤2.1，将输入图片经过冻结的视觉编码器处理得到图像特征； 步骤2.2，构建一个具有参数M的图片映射器 步骤2.3，利用图片映射器将图像特征转化为伪词标记s； 步骤2.4，构建文本提示：“Aphotoof”，在其后面拼接上由图像特征转化成的伪词标记s得到拼接后的文本：“Aphotoof[s]”； 步骤2.5，将拼接文本输入冻结的文本编码器得到拼接后的文本特征 步骤2.6，最小化相对于映射器的对比损失使得相似的图像和文本在同一个嵌入空间中更加接近，不相似的更加远离； 对比损失的函数表达式如下： 其中，表示从文本到图像的对比损失，表示从图像到文本的对比损失，是一个温度参数，用于缩放相似性分数，表示一个训练批次中的样本数量，是对进行归一化得到； 步骤3，采用添加噪声的方法，弥合纯文本和图片之间的模态差距；具体包括： 步骤3.1，将输入的文本经过冻结的预训练文本编码器得到文本特征； 步骤3.2，对文本特征添加噪声n； 步骤4，训练文本自遮掩映射器，通过纯文本训练捕获图片中的信息；具体包括： 步骤4.1，构建一个具有参数N的文本自遮掩映射器； 步骤4.2，利用文本自遮掩映射器将步骤3.2中添加过噪声的文本特征转化为伪词标记：； 步骤4.3，利用步骤1.3中得到的与该图片标题文本对应的由‘[]’符号替换掉关键词的文本描述，将伪词标记替换掉其中所有的‘[]’符号，记为； 步骤4.4，将输入到冻结的预训练文本编码器得到文本特征； 步骤4.5，对于得到的两个文本特征和，最小化二者之间的均方差损失来训练文本自遮掩映射； 均方差损失函数表达式如下： 步骤5，根据步骤2、步骤4中的两种损失函数，利用反向传播算法和梯度下降算法，对模型进行优化； 步骤6，测试模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。