湖南大学李智勇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉湖南大学申请的专利一种基于多尺度特征选择性融合的指代分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116152265B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310012997.1,技术领域涉及:G06T7/10;该发明授权一种基于多尺度特征选择性融合的指代分割方法是由李智勇;戴贤文;林家丞;李庆鹏设计研发完成,并于2023-01-05向国家知识产权局提交的专利申请。
本一种基于多尺度特征选择性融合的指代分割方法在说明书摘要公布了:本发明公开了一种基于多尺度特征选择性融合的指代分割方法,考虑到在指代分割的实际应用中,多模态特征之间的难对齐、难充分交互以及背景特征难抑制的问题没有得到有效解决,造成定位不准和模型精度降低的问题,本发明设计了基于文本引导的融合模块,对解码器的浅层到深层进行多尺度特征选择,初步选择出符合文本内容的特征,通过二次选择机制进一步筛选出只包含目标的视觉特征,并且在此基础上我们设计了注意力对比损失函数,它可以有效地抑制背景特征,提高模型精度,通过后处理分割模块,根据图像分割特性,使用不同的采样率对模型进行全局建模,分割得到最终结果,通过基准数据集的验证,本发明能够较大程度提高分割精度。
本发明授权一种基于多尺度特征选择性融合的指代分割方法在权利要求书中公布了:1.一种基于多尺度特征选择性融合的指代分割方法,其特征在于, 分割模型包括DarkNet53主干网络、双向GRU、基于语言主导的特征选择性跳转模块、二次选择模块、图像后处理分割模块; 所述方法包括: 步骤10:视觉特征提取,对于给定的RGB图像,先进行裁剪缩放,通过DarkNet53的编码器得到三种不同尺度的视觉特征Fv1、Fv2、Fv3; 步骤20:文本特征提取,对于给定的文本,先对进行分词并转换成向量的形式,然后使用双向GRU提取初步文本特征,最后基于文本注意力机制根据各个单词的重要性进行加权求和,得到文本特征Fl; 步骤30:通过基于语言主导的特征选择性跳转模块的融合部分先对Fv1、Fv2、Fv3进行选择,得到只与文本描述相关的视觉特征,然后通过基于语言主导的特征选择性跳转模块的跳转部分将选择后的特征进行跳转连接; 所述步骤30包括步骤31至步骤34: 步骤31:将Fv1、Fv2、Fv3输入至基于语言主导的特征选择性跳转模块的融合部分中,与Fl进行点积运算得到点积融合之后的特征其中,Wl表示进行将Fl堆叠到跟视觉特征一样的宽度和高度,表示1×1卷积层操作,⊙表示矩阵点乘运算,g表示Leaky-Relu激活函数; 步骤32:将输入至空间融合分支得到空间注意力图将输入至通道融合分支得到通道注意力图Wv、Wq、Wz表示1×1卷积层操作,FSG表示Sigmoid操作,Wq表示Softmax操作,FGP表示全局池化操作; 步骤33:根据注意力图与视觉特征相乘得到经过通道注意力选择的视觉特征和经过空间注意力选择的视觉特征然后得到只与文本描述相关的视觉特征 步骤34:通过基于语言主导的特征选择性跳转模块的跳转部分将进行跳转连接,与上一层视觉特征上采样后的特征进行拼接融合得到多尺度融合的视觉特征其中一层视觉特征上采样后的特征concat表示在通道上进行拼接特征,表示对进行卷积操作,表示对进行卷积操作,Up表示上采样操作; 步骤40:通过二次选择模块对目标特征进行筛选定位,得到只包含目标的视觉特征其中,再一次对视觉特征和文本特征进行点积运算之后的融合特征其中,Wl′表示进行将Fl堆叠到跟视觉特征一样的宽度和高度,Wv′表示1×1卷积层操作; 步骤50:通过图像后处理分割模块得到分割预测值; 步骤60:使用训练数据对分割模型中的双向GRU、基于语言主导的特征选择性跳转模块、二次选择模块和图像后处理分割模块进行训练,其中,训练使用的分割预测损失为表示预测的值,训练使用的注意力对比损失为yi表示真实的分割图,Pn表示yi中的正样本,训练使用的总损失函数为L=αLseg+βLacl,α和β是超参,表示分割预测损失和注意力对比损失各自占比。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人湖南大学,其通讯地址为:410013 湖南省长沙市岳麓区麓山南路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励