买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利基于元学习的预训练多模态模型特征均匀对齐方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119360112B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411510421.9，技术领域涉及：G06V10/764；该发明授权基于元学习的预训练多模态模型特征均匀对齐方法是由童涛;朱晓峰;詹猛猛设计研发完成，并于2024-10-28向国家知识产权局提交的专利申请。

本基于元学习的预训练多模态模型特征均匀对齐方法在说明书摘要公布了：本发明公开了一种基于元学习的预训练多模态模型特征均匀对齐方法，以预训练多模态模型作为基准模型，采用文本端提示模块替换词嵌入编码模块，采用图像端提示模块替换块嵌入编码模块，并添加权重自适应调整模型，从而构建得到元增强对比学习模型，初始化提示参数、权重自适应调整模型参数和损失函数权重，然后交替采用训练数据集、元数据集对提示参数和权重自适应调整模型参数进行学习，将确定提示参数的文本端提示模块、图像端提示模块加入多模态模型中构成双提示多模态模型，完成多模态模型微调。本发明通过引入双提示框架以及对齐性和均匀性约束，提升对于图像和文本的特征提取能力，从而显著提升多模态模型在下游任务中的性能。

本发明授权基于元学习的预训练多模态模型特征均匀对齐方法在权利要求书中公布了：1.一种基于元学习的预训练多模态模型特征均匀对齐方法，其特征在于，包括以下步骤：S1：根据实际需要构建并预训练多模态模型，包括词嵌入编码模块、文本编码器块、嵌入编码模块和图像编码器，其中：词嵌入编码模块用于对输入文本m进行词嵌入编码，得到词嵌入并发送至文本编码器；文本编码器用于对词嵌入进行编码处理，得到文本嵌入t；块嵌入编码模块用于对输入图像x进行块嵌入编码，得到块嵌入并发送至图像编码器；图像编码器用于对块嵌入进行编码处理，得到图像嵌入z；S2：根据多模态模型的实际应用场景收集M个图像样本和对应的文本构成训练数据集S，然后基于训练数据集S构建得到元数据集S3：以预训练多模态模型作为基准模型，采用文本端提示模块替换词嵌入编码模块，采用图像端提示模块替换块嵌入编码模块，并添加权重自适应调整模块，从而构建得到元增强对比学习模型，其中：文本端提示模块用于对输入文本m进行词嵌入编码得到词嵌入其中词嵌入编码的参数采用预训练得到的词嵌入编码模块的参数，然后将可学习文本提示向量v＝[v1,v2,…,vL]和真实类别标签y进行拼接得到文本提示符p＝[v1,v2,…,vL,y]，再将文本提示符p与词嵌入拼接得到文本提示嵌入m′并输出至文本编码器；图像端提示模块用于对输入图像x进行图像嵌入编码得到块嵌入其中图像嵌入编码的参数采用预训练得到的图像嵌入编码模块的参数，然后在图像嵌入编码所得到的图像块类别令牌CLS和图像表示块E中插入可学习图像提示向量u＝[u1,u2,…,uL]，得到图像提示符q＝[CLS,u1,u2…,uL,E]，再将图像提示符q与块嵌入拼接得到图像提示嵌入x′并输出至图像编码器；权重自适应调整模块用于接收文本编码器输出的文本嵌入t和图像编码器输出的图像嵌入z，估计得到损失函数权重λ；S4：随机初始化提示参数w0＝{v0,u0}、权重自适应调整模型的参数θ0；S5：令训练轮次t＝1；S6：将训练数据集S中的训练样本输入元增强对比学习模型，采用如下公式计算损失函数 其中，λi表示训练数据集S中第i个训练样本由权重自适应调整模块得到的损失函数权重；表示训练数据集S中第i个训练样本的多模态模型损失函数，i＝1,2,…,B，B表示训练数据集S中样本数量，计算公式如下； 其中，表示第i个训练样本中图像样本xi预测属于类别c的概率，表示图像xi的预测类别标签； 表示训练数据集S中第i个训练样本的对齐性损失函数，计算公式如下： 其中，yi表示第i个训练样本中图像样本xi的真实标签，c表示类别序号；表示二值变量，即当yi＝c时，否则zi和zj分别表示图像编码器输出的训练数据集S中图像样本xi和xj对应的图像嵌入，j＝1,2,…,B；||||2表示求取L2范数； 表示训练数据集S中第i个训练样本的均匀性损失函数，计算公式如下： 其中，exp表示指数函数，σ表示表示高斯核函数的宽度参数，ti和tj分别表示文本编码器输出的训练数据集S中文本mi和mj对应的文本嵌入；然后计算损失函数的梯度并采用如下公式更新提示参数wt： 其中，α表示预设的学习率；S7：将元数据集中的训练样本输入元增强对比学习模型，采用如下公式计算损失函数 其中，N表示元数据集中训练样本数量，分别表示元数据集中训练样本在类别c上的真实概率和预测概率，n＝1,2,…,N；然后计算损失函数的梯度并采用如下公式更新权重自适应调整模型的参数θt： 其中，β表示预设的学习率；S8：判断是否达到迭代结束条件，如果是，进入步骤S9，否则进入步骤S10；S9：令训练轮次t＝t+1，返回步骤S6；S10：根据当前元增强对比学习模型的提示参数确定文本提示向量v＝[v1,v2,…,vL]和图像提示向量u＝[u1,u2,…,uL]，从元增强对比学习模型中去除权重自适应调整模型得到双提示多模态模型，完成多模态模型微调。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。