江西省科学院材料与智能制造研究所;江西师范大学;江西省科学院能源研究所张苗辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江西省科学院材料与智能制造研究所;江西师范大学;江西省科学院能源研究所申请的专利基于文本感知适配器的零样本指代图像分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121725007B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610222338.4,技术领域涉及:G06T7/11;该发明授权基于文本感知适配器的零样本指代图像分割方法是由张苗辉;赵胜敏;陈志威;黄琪;何斌;江爱文设计研发完成,并于2026-02-25向国家知识产权局提交的专利申请。
本基于文本感知适配器的零样本指代图像分割方法在说明书摘要公布了:本发明公开基于文本感知适配器的零样本指代图像分割方法;包括:获取原始图像与指代文本,利用预训练分割模型生成候选掩码,构建局部输入图像与全局输入图像;采用双分支CLIP图像编码器,在冻结参数的Transformer模块中嵌入免训练的局部适配器与全局适配器;局部适配器通过SAM掩码引导与门控融合机制,利用局部适配器将局部文本嵌入与区域视觉特征进行融合,实现细粒度区域对齐;全局适配器利用基于方差的特征增强与双曲正切鲁棒相似度计算,保留抗干扰的全局上下文信息;融合双分支输出特征对候选掩码评分,输出最终分割结果;本发明无需参数微调,有效解决多模态特征错位问题,显著提升零样本指代分割的精度与鲁棒性。
本发明授权基于文本感知适配器的零样本指代图像分割方法在权利要求书中公布了:1.基于文本感知适配器的零样本指代图像分割方法,其特征在于,包括如下步骤: 步骤S1:采集待分割的原始图像与指代文本,并利用预训练的分割模型生成原始图像的候选掩码集合,基于候选掩码集合分别构建局部输入图像与全局输入图像; 步骤S2:对指代文本进行多粒度特征提取,分别提取全句层面的全局文本嵌入和短语层面的局部文本嵌入; 步骤S3:构建包含局部感知分支和全局感知分支的双分支CLIP图像编码器,保持双分支CLIP图像编码器的参数冻结,并在双分支CLIP图像编码器的Transformer模块中嵌入免训练的局部适配器和全局适配器; 步骤S4:在局部感知分支中,将局部输入图像输入CLIP图像编码器进行提取,得到区域视觉特征;利用局部适配器将局部文本嵌入与区域视觉特征进行融合,通过加权区域特征聚合与门控融合机制,生成细粒度对齐的局部增强特征;在全局感知分支中,将全局输入图像输入CLIP图像编码器进行提取,得到全局视觉特征;利用全局适配器将全局文本嵌入与全局视觉特征进行融合,通过基于方差的特征增强与鲁棒相似度计算,生成具有抗噪能力的全局增强特征; 步骤S5:在推理阶段,融合局部增强特征与全局增强特征,利用融合后的特征计算候选掩码集合中每个候选掩码与指代文本的语义相似度评分,将筛选评分最高的候选掩码作为最终的指代图像分割结果,完成零样本指代图像分割任务; 所述局部感知分支的处理过程具体为: 步骤S411:将候选掩码进行空间下采样与展平处理,得到与区域视觉特征对齐的候选掩码向量; 步骤S412:基于对齐后的候选掩码向量对区域视觉特征进行加权聚合,提取各候选掩码对应的区域视觉特征,计算公式为: ; 其中,表示第个候选掩码对应的区域视觉特征,L表示图像块总数,表示第个图像块,表示第个候选掩码在第个图像块上的权重,表示视觉特征序列中第个图像块的特征向量,表示数值稳定常数; 步骤S413:将各候选掩码对应的区域视觉特征投影至文本特征空间,计算其与局部文本嵌入的语义相似度; 步骤S414:基于语义相似度生成位置权重矩阵,并结合门控融合机制将局部文本嵌入注入视觉特征序列,得到局部增强特征; 步骤S414中门控融合机制的具体实现方式为:通过Sigmoid激活函数生成门控权重,并依据下式计算局部增强特征: ; 其中,表示局部增强特征,表示视觉特征序列,表示融合系数,表示门控权重,表示基于语义相似度的位置权重矩阵,表示扩展后的文本特征向量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西省科学院材料与智能制造研究所;江西师范大学;江西省科学院能源研究所,其通讯地址为:330000 江西省南昌市高新技术开发区昌东大道7777号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励