买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于多模态数据的重平衡长尾图像数据分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115205592B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210829253.4，技术领域涉及：G06V10/764；该发明授权一种基于多模态数据的重平衡长尾图像数据分类方法是由陈东明;赵雨萌;赵文吕;聂铭硕;王冬琦设计研发完成，并于2022-07-15向国家知识产权局提交的专利申请。

本一种基于多模态数据的重平衡长尾图像数据分类方法在说明书摘要公布了：本发明属于图像分类领域，设计了一种基于多模态数据的重平衡长尾图像数据分类方法。该方法实现图像‑文本多模态学习在长尾图像分类问题上的应用，旨在使用相对平衡且易于获得、扩展性丰富的文本数据来监督模型对图像特征的学习，通过两个阶段的训练，提高模型在所有种类上的分类效果。第一个阶段使用CLIP大规模预训练模型中的图像和文本编码器，通过对比学习的方法建立两个模态数据的关联性，增强类内图像与文本互信息的同时扩大类间差异性。第二个阶段冻结图像与文本编码器，并在图像编码器后增加了一个多层感知机，使用类平衡采样策略和重平衡损失函数训练少量周期，进一步改善模型对于尾部类的分类能力。

本发明授权一种基于多模态数据的重平衡长尾图像数据分类方法在权利要求书中公布了：1.一种基于多模态数据的重平衡长尾图像数据分类方法，其特征在于，具体步骤如下： 步骤1：对图像数据和文本数据进行预处理； 给定一个mini-batch的图像数据I＝{I1,...,IN}和对应的标签文本数据T＝{T1,...,TN}，其中N为batchsize；将mini-batch中属于i类的图像和标签文本两种模态数据表示为和其中和为I和T的子集，大小为n； 步骤2：对步骤1得到的图像模态数据和标签文本模态数据进行降维编码； 步骤3：计算图像模态数据和标签文本模态数据的相似度匹配； 步骤4：对图像模态嵌入表示和标签描述模态嵌入表示进行对比学习预训练，来建立图像模态数据与标签文本模态数据之间种类内部的关联性，同时扩大类间相似性边界，作为第一阶段，即预训练CLIP模型； 步骤5：计算最终第一阶段的损失； 步骤6：重复执行步骤2-5，利用梯度下降算法进行反向传播，更新图像编码器参数，实现第一阶段CLIP模型预训练； 步骤7：任意给定一个大小为N的mini-batch图像模态数据种类数量为C的所有种类标签文本模态数据的句子token为分别经过图像编码器和文本编码器计算后得到嵌入表示和D为两个模态Embedding对齐后的输出维度； 步骤8：计算步骤7得到的图像嵌入表示fI和标签描述嵌入表示fT的原始余弦相似度Sori； 步骤9：因为图像模态数据呈长尾分布，所以使用图像模态数据和文本模态数据对进行匹配分类仍然不能摆脱失衡问题，因此对CLIP模型进行重平衡以改变图像嵌入表示fI对标签描述嵌入表示fT的敏感程度，作为第二阶段，得到 步骤10：将和Sori加权求和，作为最终预测输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。