南京邮电大学张梦纯获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京邮电大学申请的专利上下文聚合网络以及基于该网络的图像实时语义分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114821061B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210486074.5,技术领域涉及:G06V10/26;该发明授权上下文聚合网络以及基于该网络的图像实时语义分割方法是由张梦纯;高广谓;徐国安;吴飞;岳东设计研发完成,并于2022-05-06向国家知识产权局提交的专利申请。
本上下文聚合网络以及基于该网络的图像实时语义分割方法在说明书摘要公布了:本发明涉及一种用于实时语义分割的高效多尺度上下文聚合网络,包括下采样模块、不对称卷积模块、多分支不对称卷积模块、空间注意模块、通道注意模块和上采样模块,所述不对称卷积模块包括两个或三个不对称卷积单元,所述多分支不对称卷积模块包括三个多分支不对称卷积单元。本发明网络主干分支的编码器与解码器部分基本成对称关系。在解码器最后,对图像进行一次上采样操作,即可获得原始分辨率图像。最后一次上采样模块即为分类卷积,其输出为原始分辨率大小的最终预测结果,将预测结果与对应的语义标签进行对比,目标函数设置为交叉熵损失函数,就可得到训练好的网络模型。使用这个训练好的网络模型,方便进行图像语义分割的结果预测。
本发明授权上下文聚合网络以及基于该网络的图像实时语义分割方法在权利要求书中公布了:1.基于上下文聚合网络的图像实时语义分割方法,其特征在于,包括以下步骤: 步骤1、构建基于轻量级对称网络的实时语义分割网络模型,包含下采样模块、不对称卷积模块、多分支不对称卷积模块、空间注意模块、通道注意模块、上采样模块;所述不对称卷积模块包括两个或三个不对称卷积单元,所述多分支不对称卷积模块包括三个多分支不对称卷积单元;所述不对称卷积模块在聚合网络的编码器部分分为第一编码器不对称卷积模块和第二编码器不对称卷积模块,第一编码器不对称卷积模块包含三个不对称卷积单元,其卷积核为3,第二编码器不对称卷积模块包含两个不对称卷积单元,其卷积核为5;所述不对称卷积模块在聚合网络的解码器部分分为第一解码器不对称卷积模块和第二解码器不对称卷积模块,第一解码器不对称卷积模块由两个不对称卷积单元组成,其卷积核为5,第二解码器不对称卷积模块由两个不对称卷积单元组成,其卷积核为3;所述多分支不对称卷积单元包含四个不对称卷积分支,每个不对称卷积分支采用不对称空洞卷积,其卷积核分别为3,5,7,9,扩张率均为2;所述下采样模块包含一个卷积层和一个池化层,所述卷积层的核为3×3,所述池化层的步幅为2;所述上采样模块包含一个核为3×3,步幅为2的反卷积层; 步骤2、初始输入图像输入到下采样模块进行第一次下采样,以提取出初始图像的特征,并且将其图像分辨率变为12, F1=DownFin1 其中,Fin表示输入图像,Down表示降采样率为2的降采样模块,F1表示对初始图像进行第一次降采样率为2的下采样后的输出; 然后,对经过第一次下采样后的图像,使用编码器的第一个不对称卷积模块进行处理, F13=C1×3C3×1C1×3C3×1C1×3C3×1F18 其中,F1表示对初始图像进行第一次降采样率为2的下采样后的输出,C3×1表示卷积核为3×1的卷积操作,C1×3表示卷积核为1×3的卷积操作,F13表示编码器第一个不对称卷积模块的输出; 步骤3、将编码器第一个不对称卷积模块的输出F13与12分辨率图像经过空间注意力模块处理后的输出Y1进行第一次特征融合, Fc1=ConcatF13,Y19 其中,Concat表示级联操作,Fc1表示第一次特征融合后的输出特征图; 步骤4、将第一次特征融合后的输出特征图输送到通道注意模块进行处理, FCAM1=CAMFc110 其中,CAM表示通道注意力模块,FCAM1表示第一个通道注意模块的输出; 再将第一个通道注意模块的输出输送至下采样模块进行第二次下采样,以提取输出特征图像的特征, F2=DownFCAM111 其中,Down表示降采样率为2的降采样模块,F2表示图像经过第二次下采样之后得到的14分辨率的输出; 然后,使用编码器的第二个不对称卷积模块对经过第二次下采样后的图像进行处理, F22=C1×5C5×1C1×5C5×1F212 其中,C5×1表示卷积核为5×1的卷积操作,C1×5表示卷积核为15的卷积操作,F22表示编码器第二个不对称卷积模块的输出; 步骤5、将编码器第二个不对称卷积模块的输出F22与14分辨率图像经过空间注意力模块处理后的输出Y2进行第二次特征融合, Fc2=ConcatF22,Y213 其中,Y2表示14分辨率图像经过空间注意力模块处理后的输出,Fc2表示第二次特征融合后的输出; 步骤6、将第二次特征融合后的输出特征图输送到通道注意模块进行处理, FCAM2=CAMFc214 其中,FCAM2表示第二个通道注意力模块的输出; 再将第二个通道注意模块的输出输送至下采样模块进行第三次下采样,以提取输出特征图像的特征, F3=DownFCAM215 其中,F3表示图像经过第三次下采样之后得到的18分辨率的输出; 然后,使用多分支不对称卷积模块对经过第三次下采样后的图像进行处理, F31=PFCU1F332 F32=PFCU2F3133 F33=PFCU3F3234 其中,PFCU1表示第一个多分支不对称卷积单元,PFCU2表示第二个多分支不对称卷积单元,PFCU3表示第三个多分支不对称卷积单元,F31表示第一个多分支不对称卷积单元的输出,F32表示第二个多分支不对称卷积单元的输出,F33表示第三个多分支不对称卷积单元的输出; 步骤7、将多分支不对称卷积模块的输出F33与18分辨率图像经过空间注意力模块处理后的输出Y3进行第三次特征融合, Fc3=ConcatF33,Y335 其中,Y3表示18分辨率图像经过空间注意力模块处理后的输出,Fc3表示第三次特征融合后的输出; 步骤8、将第三次特征融合后的输出特征图输送到通道注意模块进行处理, FCAM3=CAMFc336 其中,FCAM3表示第三个通道注意力模块输出; 再将第三个通道注意模块的输出输送至上采样模块进行第一次上采样, F4=UPFCAM337 其中,UP表示上采样率为2的上采样模块,F4表示经过第一个上采样模块后得到的14分辨率的输出; 然后,使用解码器的第一个不对称卷积模块对经过第一次上采样后的图像进行处理, F42=C1×5C5×1C1×5C5×1F438 其中,C5×1表示卷积核为5×1的卷积操作,C1×5表示卷积核为15的卷积操作,F42表示解码器第一个不对称卷积模块的输出; 步骤9、将经过解码器第一次卷积处理后的图像输送到通道注意模块进行处理, FCAM4=CAMF4239 其中,FCAM4表示第四个通道注意力模块输出; 再将第四个通道注意模块的输出输送至上采样模块进行第二次上采样, F5=UPFCAM440 其中,F5表示经过第二个上采样模块后得到的12分辨率的输出; 然后,使用解码器的第二个不对称卷积模块对经过第一次上采样后的图像进行处理, F52=C1×3C3×1C1×3C3×1F541 其中,C3×1表示卷积核为3×1的卷积操作,C1×3表示卷积核为13的卷积操作,F52表示解码器第二个不对称卷积模块的输出; 步骤10、将经过解码器第二次卷积处理后的图像输送到上采样模块进行第三次上采样,以获得整个语义分割网络的预测输出, Fout=UPF5242 其中,Fout表示经过第三个上采样模块后得到的全分辨率的输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京邮电大学,其通讯地址为:210003 江苏省南京市鼓楼区新模范马路66号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。