浙江工商大学董建锋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江工商大学申请的专利大语言模型常识知识注入的细粒度服饰图像检索方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120196777B 。
龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510671212.0,技术领域涉及:G06F16/535;该发明授权大语言模型常识知识注入的细粒度服饰图像检索方法及装置是由董建锋;朱俊伟;朱继祥;包翠竹;陈洋;王勋设计研发完成,并于2025-05-23向国家知识产权局提交的专利申请。
本大语言模型常识知识注入的细粒度服饰图像检索方法及装置在说明书摘要公布了:本发明公开了一种大语言模型常识知识注入的细粒度服饰图像检索方法及装置。该方法首先通过图像编码器提取输入图像的细粒度视觉特征,并结合低秩适配器进行优化,以提高图像补丁级别的表示能力。接着,通过预训练的大语言模型生成属性增强的常识性知识上下文,丰富图像属性表示,从而帮助模型理解和推理开放场景中未知的属性信息。本发明引入了可切换模态提示和插补机制,保证在属性或文本缺失时能够动态补充代理嵌入。在检索过程中,通过属性引导的跨模态注意力机制,基于图像特征和属性增强上下文之间的关系进行细粒度图像内容匹配。本发明通过多模态特征对齐和优化,提高了在开放世界场景中进行服饰图像检索的准确性和鲁棒性。
本发明授权大语言模型常识知识注入的细粒度服饰图像检索方法及装置在权利要求书中公布了:1.一种大语言模型常识知识注入的细粒度服饰图像检索方法,其特征在于,该方法包括以下步骤: 1图像特征表示:获取服饰图像,基于CLIP的图像编码器提取细粒度的视觉特征;图像编码器通过低秩适配器LoRA进行优化,图像被拆分为多个非重叠的补丁,生成每个补丁的嵌入表示; 2属性与常识知识表示:将给定的属性映射为属性嵌入向量,用大语言模型生成常识性描述;具体包括:通过大语言模型得到增强的文本嵌入,生成与所述属性相关的常识性文本描述,以增强属性的语义表示,将指定属性及其对应的常识性文本描述,一同输入属性感知的上下文编码器模块,将这些异构输入嵌入到一个共享的潜在空间,以进行多模态的互补信息集成,实现对训练集中未出现的未知属性的泛化表示,属性嵌入与增强的上下文共同形成条件查询向量,用于指导检索过程; 3模态缺失下的属性知识鲁棒融合:定义一个提示向量编码当前模态配置,基于模态配置向量,判断当前模态的可用性,包括完整模态、仅属性模态或仅上下文模态;当某一模态缺失时,引入一个插补机制,通过插补机制用可训练的默认值或代理嵌入来替代缺失的嵌入,补充缺失的模态信息; 4属性引导的跨模态推理:将属性嵌入和属性增强的上下文嵌入结合,构建一个属性引导查询向量,引导检索过程,精确捕捉与查询属性相关的视觉内容,利用属性引导查询向量与图像编码器提取的补丁特征进行跨模态对齐,通过计算查询与图像补丁之间的相似度,对图像进行加权,最终生成与查询匹配的图像特征,根据相似度生成细粒度的服饰图像检索结果; 5联合优化:为了使模型对正确图像的匹配优先于错误图像,定义三元组损失,并平衡属性与文本对齐与检索准确度;将条件查询向量和正样本距离最小化并与负样本拉开间隔,同时平衡属性-文本对齐与检索准确度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工商大学,其通讯地址为:310012 浙江省杭州市西湖区教工路149号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励