河海大学刘凡获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉河海大学申请的专利一种基于知识增强的多模态大模型小样本分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119418107B 。
龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411466088.6,技术领域涉及:G06V10/764;该发明授权一种基于知识增强的多模态大模型小样本分类方法是由刘凡;蔡雯雯;霍健;张传一;蔡镇锽;安悦瑄;吴铭设计研发完成,并于2024-10-21向国家知识产权局提交的专利申请。
本一种基于知识增强的多模态大模型小样本分类方法在说明书摘要公布了:本发明公开了一种基于知识增强的多模态大模型小样本分类方法,涉及人工智能和计算机视觉领域,方法包括:收集多场景图像数据集,将基类、新类数据构建为符合元学习范式的小样本指令微调集和测试集;对微调集的图片与文本标签进行增强,并输入多模态大模型进行微调;在推理阶段,随机选择历史对话和测试集中的指令,一同输入微调后的模型获取初始分类结果;之后,对每张图像生成多条属性描述,计算图像间描述相似性并排序,以筛选可靠候选答案;最终,判断初始答案的可靠性,若不可靠,则利用新的候选答案构建指令重新推理。本发明通过基于微调和推理双阶段的知识增强方法,提升了多模态大模型的小样本分类能力,适用于通用和细粒度分类任务。
本发明授权一种基于知识增强的多模态大模型小样本分类方法在权利要求书中公布了:1.一种基于知识增强的多模态大模型小样本分类方法,其特征在于,包括如下步骤: 步骤1、收集小样本图像分类数据集,在基类上组织N-wayK-shot小样本任务形式的指令微调集,在新类上组织N-wayK-shot小样本任务形式的指令测试集; 步骤2、将指令微调集中的指令应用策略增强图片和类名标签,并送入多模态大模型微调; 步骤3、在推理阶段,随机选择多条历史对话,与所述指令测试集中的指令一同输入多模态大模型,得到模型的初始分类答案A1; 步骤4、同时,对于指令测试指令中的每张图像,提示多模态大模型生成多条属性描述; 步骤5、计算步骤4得到的图像样本间的属性描述相似性并排序,筛选出N2个可靠的候选答案组成新的候选答案集CN2; 步骤6、对于初始分类答案A1和新的候选答案集CN2,判断A1是否可靠,若可靠则直接输出该答案作为最终分类结果; 步骤7、若A1不可靠,则使用CN2重新组织新的指令,输入多模态大模型进行重新推理,得到最终分类结果; N为在小样本图像数据集中采样的类别个数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人河海大学,其通讯地址为:211100 江苏省南京市江宁开发区佛城西路8号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励