买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川酷比通信设备有限公司申请的专利一种多模态预训练模型的渐进式微调方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121010981B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511543550.2，技术领域涉及：G06V30/19；该发明授权一种多模态预训练模型的渐进式微调方法及系统是由王东;高嵩设计研发完成，并于2025-10-28向国家知识产权局提交的专利申请。

本一种多模态预训练模型的渐进式微调方法及系统在说明书摘要公布了：本发明公开了一种多模态预训练模型的渐进式微调方法及系统，属于深度学习领域，所述方法包括从已完成预训练的多模态大模型的视觉编码器获取高维的视觉特征向量，并从文本编码器中获取文本特征向量，构建得到异构模态特征；通过资源分配策略分析不同模态的贡献度，动态地指导整个微调过程，将有限的计算资源，分配给对当前任务贡献最大的多模态大模型组件；通过跨模态对比一致性模型对所述异构模态特征进行处理得到最终的优化目标。本发明能够在有限的硬件条件下训练出更大的或使用更大的批次大小进行微调训练。

本发明授权一种多模态预训练模型的渐进式微调方法及系统在权利要求书中公布了：1.一种多模态预训练模型的渐进式微调方法，其特征在于，所述渐进式微调方法包括： S100、从已完成预训练的多模态大模型的视觉编码器获取高维的视觉特征向量，并从文本编码器中获取文本特征向量，构建得到异构模态特征； S200、通过资源分配策略分析不同模态的贡献度，动态地指导整个微调过程，将有限的计算资源，分配给对当前任务贡献最大的多模态大模型组件； S300、通过跨模态对比一致性模型对所述异构模态特征进行处理得到最终的优化目标， 所述跨模态对比一致性模型在承认不同模态原始数据具有极大差异的前提下，不改变原始的编码器，而通过构建一个投影层，并通过对比的方式，动态地定义一个优良的几何结构； 所述S200还包括：渐进式解冻调度器， 所述渐进式解冻调度器通过渐进式、按需解冻的方式，使得模型在训练初期使用极少的参数快速的适应任务；而在后期则通过解冻更多参数来精调模型的性能， 渐进式解冻调度器在每个训练周期结束时，监测模型在验证集上的一个或多个预设的性能指标，来维持渐进式解冻调度器的一个待解冻参数层的优先级列表；通过设定一个性能停滞阈值，当在连续的N个周期内，验证集上的性能提升均小于该阈值，则调度器被触发， 触发后的调度器根据预设的优先级策略，从当前冻结的参数中选择一部分进行解冻； 所述跨模态对比一致性模型通过如下步骤构建得到： S310、要将异构模态特征，转化映射到一个统一的、标准化的共享语义空间中，使得图像特征和文本特征能够在此空间中进行度量和比较； S320、根据构建的共享语义空间，构建得到结构化的优化目标函数，实现精准的跨模态对齐，引导投影函数的训练过程， 所述优化目标函数为一个多目标的复合损失函数，包括： 在全局范围内拉近匹配的正样本，同时推开不匹配的负样本的核心的跨模态对比损失； 在使同一语义类别的样本在各自的模态空间内形成紧凑的簇，从而增强单一模态内部的特征表达质量的模态内聚类损失； 以及鼓励投影变换学习到的各个特征维度为相互独立的特征维度，从而提升特征空间的表达效率并避免维度冗余的正交正则项； 所述多目标的复合损失函数如下式所示： ； 其中，为跨模态对比损失；为模态内聚类损失，为正交正则项，为用于平衡模态内聚类损失在总损失中的权重的的超参数；为用于平衡正交正则项损失在总损失中的权重的超参数； S330、将所述复合损失函数作为最终的优化目标，通过标准的模型训练与推理流程，将该模型应用于微调任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川酷比通信设备有限公司，其通讯地址为：644000 四川省宜宾市临港经开区港园路西段69号2栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。