云南大学武丽雯获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉云南大学申请的专利基于图卷积神经网络和类激活映射的图像多标签分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115457332B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211190736.0,技术领域涉及:G06V10/764;该发明授权基于图卷积神经网络和类激活映射的图像多标签分类方法是由武丽雯;唐培耕;姚绍文设计研发完成,并于2022-09-28向国家知识产权局提交的专利申请。
本基于图卷积神经网络和类激活映射的图像多标签分类方法在说明书摘要公布了:本发明公开了一种基于图卷积神经网络和类激活映射的图像多标签分类方法,通过根据图像样本的标签向量集合生成标签关系图,通过图卷积神经网络获取各个标签的嵌入表示,据此构建得到分类器,在图像多标签分类模型中,对输入图像的全局特征通过反向传播得到局部特征,分别对全局特征和局部特征采用分类器估计得到输入图像的估计概率向量,最后融合得到输入图像的最终估计概率向量。本发明通过捕获标签和图像语义信息之间的相关性,解决了多标签图像问题中标签依赖关系构建困难和图像语义获取不完整的问题,提高了图像多标签分类的性能。
本发明授权基于图卷积神经网络和类激活映射的图像多标签分类方法在权利要求书中公布了:1.一种基于图卷积神经网络和类激活映射的图像多标签分类方法,其特征在于,包括以下步骤: S1:根据实际需要获取N幅图像样本并归一化至预设尺寸,获取每幅图像样本的标签向量Yn=[yn,1,yn,2,…,yn,M],yn,m用于表示第n幅图像样本是否属于第m个标签对应的类别,ym=1表示属于,ym=0表示不属于,m=1,2,…,M,M表示标签数量; S2:采用如下方法生成标签关系图: S2.1:根据N幅图像样本的标签向量,对于每个标签m统计yn,m=1的图像样本数量am,然后将M个标签两两组成标签对,对于每个标签对m,m′统计yn,m=1且yn,m′=1的图像样本数量bm,m′,其中m′=1,2,…,M且m′≠m;然后采用如下公式计算得到标签m和标签m′的共现概率Pm′|m: S2.2:对于每个标签分别采用词嵌入算法获取对应的文本向量; S2.3:将每个标签的文本向量作为标签关系图的节点,如果共现概率Pm′|m大于预设阈值,则添加从标签m至标签m′的有向边,否则不添加边,从而得到标签关系图;记标签关系图的邻接矩阵为A,由每个标签文本向量作为行向量构成的节点特征矩阵为H; S3:构建图像多标签分类模型,包括图像特征提取模块、全局池化层、卷积层、sigmod层、局部特征筛选模块、反向传播模块、上采样模块、图卷积神经网络、分类模块、最大池化层和softmax层,其中: 图像特征提取模块用于对输入图像I0和反向传播得到的K个局部特征图像Ik进行图像特征提取,k=1,2,…,K,得到大小为H×W×D的特征图,将输入图像I0的特征图F0发送至全局池化层和反向传播模块,将K个局部特征图像Ik的特征图Fk发送至全局池化层; 全局池化层用于对接收的特征图Fk′分别进行全局池化,k′=0,1,2,…,K,得到D维的特征向量Gk′并发送至分类模块,并将特征向量G0发送至卷积层; 卷积层用于对特征向量G0采用1×1×M的卷积核进行卷积操作,得到M维的特征向量C0并发送至sigmod层; Sigmod层用于对接收的特征向量C0采用sigmod函数进行处理,将特征向量C0中每个元素值转化至范围[0,1]得到预测概率向量其中表示输入图像I0属于第m类的预测概率,然后将预测概率向量发送至局部特征筛选模块; 局部特征筛选模块用于对预测概率向量中的M个预测概率进行从大到小进行排序,选择前K个预测概率mk表示筛选出的第k个预测概率对应的类别,然后将K个预测概率发送至反向传播网络; 反向传播网络用于在接收到的K个预测概率和特征图F0后,分别根据类别mk的预测概率进行反向传播,得到类别mk的类激活图Ak并发送至上采样模块,反向传播公式如下: 其中,D表示特征图F0的通道数,ReLU表示relu函数,表示特征图F0中第d个通道的特征数据,表示针对特征数据的权重,其计算公式如下: H、W分别表示特征图F0的高和宽,表示特征图F0第d个通道在坐标h,w处的特征数据; 上采样模块用于对接收到的K个类激活图Ak分别进行上采样至输入图像I0的大小,得到局部特征图像Ik并发送至图像特征提取模块; 图卷积神经网络用于对标签关系图进行特征学习得到各个标签的嵌入表示向量,其中图卷积神经网络的输入为节点特征矩阵H,将标签关系图的邻接矩阵A作为图卷积神经网络的相关系数矩阵初始值;将每个标签的嵌入表示向量作为列向量,构建得到大小为D×M的标签嵌入表示矩阵E,其中D表示嵌入表示向量的维度;将标签嵌入表示矩阵E作为分类器输出至分类模块; 分类模块用于接收K+1个特征向量Gk′,采用分类器E分别对每个特征向量Gk′进行分类,得到特征向量Gk′对应的估计概率向量分类的表达式如下: 其中,表示根据特征向量Gk′估计得到的输入图像I0属于第m个标签类别的概率,将得到的K+1个估计概率向量发送至最大池化层; 最大池化层用于对接收到的K+1个估计概率向量进行最大池化,得到估计概率向量并发送给softmax层; softmax层用于采用softmax函数对估计概率向量进行处理,得到估计标签向量其中表示估计得到的输入图像I0属于第m个标签类别的概率; S4:将步骤S1中的各幅图像样本作为输入,对应的标签向量Yn=[yn,1,yn,2,…,yn,M]作为期望输出,对步骤S3构建的图像多标签分类模型进行训练; S5:对于待分类图像,将其归一化至预设尺寸,然后输入训练好的图像多标签分类模型,从得到的估计标签向量中筛选出概率大于预设阈值的标签,作为待分类图像的标签。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人云南大学,其通讯地址为:650091 云南省昆明市翠湖北路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励