买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于低秩适应的零样本跨模态图像检索方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119719405B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411916549.5，技术领域涉及：G06F16/58；该发明授权一种基于低秩适应的零样本跨模态图像检索方法和装置是由刘德成;罗旭;胡彬;彭春蕾设计研发完成，并于2024-12-24向国家知识产权局提交的专利申请。

本一种基于低秩适应的零样本跨模态图像检索方法和装置在说明书摘要公布了：本发明公开了一种基于低秩适应的零样本跨模态图像检索方法和装置，将待检索的第一模态图像输入检索模型得到输出向量；和预先确定的各类别第二模态图像测试样本的输出向量比较，筛选出低差异的第二模态图像测试样本构成检索集。检索模型是通过利用预设低秩技术，将大模型DINOv2的变压器块中对应层更换为域无关和域相关模块从而增加并联的低秩矩阵分支，并冻结原有网络参数梯度训练且验证后得到的；本发明针对两种不同模态的相似点和独特点，设计域无关和域相关模块替换DINOv2中部分层，使低秩技术能更好适应跨模态的零样本图像检索任务，增加模型鲁棒性。训练时冻结原有参数仅优化低秩矩阵，在减少训练参数的同时可提供更佳的准确率。

本发明授权一种基于低秩适应的零样本跨模态图像检索方法和装置在权利要求书中公布了：1.一种基于低秩适应的零样本跨模态图像检索方法，其特征在于，包括： 获取检索模型；其中，所述检索模型是通过利用预设低秩技术，将大模型DINOv2的变压器块中对应层更换为预先设计的域无关模块和域相关模块从而为原有权重增加并联的低秩矩阵分支，并冻结原有网络参数梯度后，利用含有第一模态图像训练样本和第二模态图像训练样本的训练集进行训练，并在训练结束后经测试集验证通过得到的；第一模态和第二模态为不同模态，所述测试集和所述训练集中样本的类别不同； 将待检索的第一模态图像输入所述检索模型，得到对应的输出向量； 将待检索的第一模态图像的输出向量和测试集验证过程中所确定的各类别的第二模态图像测试样本的输出向量分别进行差异比较，确定满足低差异要求的预设数量个第二模态图像测试样本，构成检索集； 所述检索模型的训练过程包括： 获取网络参数已预训练完成的大模型DINOv2； 针对所述大模型DINOv2的N个变压器块，利用低秩适应LoRA技术，将前N-1个变压器块内多头注意力模块中的查询-键-值层、投影层，以及线性模块中的两个线性层更换为所述域无关模块，将第N个变压器块内多头注意力模块中的查询-键-值层更换为所述域无关模块，将投影层更换为所述域相关模块，将第N个变压器块内线性模块中的两个线性层更换为所述域相关模块，得到搭建完成的检索模型；其中，所述域无关模块和所述域相关模块是保留被替换层内原有的权重，并为其增加用于并联加和的低秩矩阵分支后得到的，低秩矩阵分支由所述预设低秩技术构建的低秩矩阵串联构成； 冻结所述大模型DINOv2的原有网络参数梯度，针对当前轮训练，将含有第一模态图像训练样本和第二模态图像训练样本的训练集的小批次，输入搭建完成的检索模型，通过检索模型的特征提取处理，得到各训练样本的输出向量；其中，所述训练集中的训练样本的类别已知； 针对每个第一模态图像训练样本，利用其输出向量、同类别和非同类别的第二模态图像训练样本的输出向量，计算其损失函数的数值，并得到该小批次所有第一模态图像训练样本的总损失函数的数值； 基于总损失函数的梯度，优化各域无关模块和域相关模块中的低秩矩阵，以完成当前轮训练； 重复多轮训练直至达到预设的最大训练轮次，得到预训练的检索模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。