买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种预训练的视觉语言模型的少样本微调方法、装置及可读介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119445288B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411556564.3，技术领域涉及：G06V10/774；该发明授权一种预训练的视觉语言模型的少样本微调方法、装置及可读介质是由曹刘娟;谢晶晶;张玉鑫;纪荣嵘设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本一种预训练的视觉语言模型的少样本微调方法、装置及可读介质在说明书摘要公布了：本发明公开了一种预训练的视觉语言模型的少样本微调方法、装置及可读介质，包括：构建微调数据集、构建预训练的视觉语言模型以及特征对齐模块和局部缓存模块，预训练的视觉语言模型包括图像编码器、文本编码器和特征聚合模块；基于微调数据集并通过特征对齐模块和局部缓存模块对预训练的视觉语言模型进行微调，得到对比预训练的视觉语言模型和最后一次更新后的存储矩阵。先通过特征对比模块将全局特征和局部特征转换到文本嵌入空间，通过局部缓存模块封装从图像分支的局部特征中提取细粒度的语义信息，之后这些细粒度的语义信息会与相应的文本嵌入进行拼接，随后通过特征聚合模块融合全局和局部信息，以增强文本分支的表示能力。

本发明授权一种预训练的视觉语言模型的少样本微调方法、装置及可读介质在权利要求书中公布了：1.一种预训练的视觉语言模型的少样本微调方法，其特征在于，包括以下步骤： 获取若干个图像、文本和每个图像对应的真实标签并构建微调数据集； 构建预训练的视觉语言模型以及特征对齐模块和局部缓存模块，所述预训练的视觉语言模型包括图像编码器、文本编码器和特征聚合模块，所述图像编码器和文本编码器分别与特征聚合模块连接； 将所述微调数据集中的每个图像和文本输入到所述预训练的视觉语言模型，通过所述图像编码器将每个图像划分为若干个不重叠的图像块，分别提取图像的全局特征和每个图像块的局部特征并构成每个图像的特征集合，将每个图像的特征集合输入到所述特征对齐模块，得到每个图像的转换后的特征集合；在所述局部缓存模块中构建一个存储矩阵，对所述存储矩阵进行随机初始化，得到初始的存储矩阵，遍历每个图像的转换后的特征集合，根据第一个图像的转换后的特征集合对所述初始的存储矩阵进行更新，得到第一次更新后的存储矩阵，根据当前图像的转换后的特征集合对上一次更新后的存储矩阵进行更新，得到当前次更新后的存储矩阵，具体包括： 计算当前图像的转换后的特征集合中的每个特征和上一次更新后的存储矩阵的每个缓存条目之间的余弦相似度，并通过softmax函数获得概率，如下式所示： 其中，Di,j表示将当前图像的转换后的特征集合中的第i个特征分配到上一次更新后的存储矩阵A中的第j个缓存条目的概率，exp·代表指数函数，cos·,·代表计算两个向量间的余弦相似度，vi表示当前图像的转换后的特征集合中的第i个特征，Aj表示上一次更新后的存储矩阵A中的第j个缓存条目，j＝1,2,…,M，M表示缓存条目的总数； 根据所述概率将当前图像的转换后的特征集合中的每个特征分配到上一次更新后的存储矩阵A中具有最高概率的缓存条目，如下式所示： Gj＝{i|argmaxkDi,k＝j}； 其中，Gj表示当前图像的转换后的特征集合中被分配到上一次更新后的存储矩阵A中的第j个缓存条目的位置上的所有特征的序号集合，argmaxkDi,k表示取Di,k中的最大值对应的k； 对被分配到上一次更新后的存储矩阵A中的第j个缓存条目的每个特征中收集信息并对上一次更新后的存储矩阵A进行更新，如下式所示： 其中，vh表示分配到上一次更新后的存储矩阵A中的第j个缓存条目的位置上的其中一个特征，γ表示动量系数，Aj表示上一次更新后的存储矩阵A中的第j个缓存条目，A′j表示当前次更新后的存储矩阵中的第j个缓存条目；将每个文本输入到所述文本编码器，得到文本嵌入，将所述当前次更新后的存储矩阵和所述文本嵌入输入到所述特征聚合模块，得到当前的聚合特征，根据所述当前的聚合特征和当前图像的全局特征计算得到当前图像对应的预测标签，利用所述预测标签和真实标签构建损失函数，基于所述损失函数对所述预训练的视觉语言模型进行微调，得到对比预训练的视觉语言模型和最后一次更新后的存储矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。