杭州电子科技大学王莉莎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利基于双分支交叉注意力池化的眼前节疾病多标签分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116797522B 。
龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310034945.4,技术领域涉及:G06T7/00;该发明授权基于双分支交叉注意力池化的眼前节疾病多标签分类方法是由王莉莎;顾人舒;陈德潮;高红依;贾刚勇设计研发完成,并于2023-01-10向国家知识产权局提交的专利申请。
本基于双分支交叉注意力池化的眼前节疾病多标签分类方法在说明书摘要公布了:本发明公开了一种基于双分支交叉注意力池化的眼前节疾病多标签分类方法,本发明包括以下步骤:1对裂隙灯图像进行数据预处理;2将图像输入双分支网络,输出token序列和特征图;3对特征图、注意力图进行双分支交叉注意力池化,输出疾病类别和区域的结果;4利用CNN分支中的注意力图对该分支输入进行注意力引导的数据增强,再次输入主网络;5将各个结果和标签进行损失计算来进行监督训练,训练好的模型可用于疾病类别和区域的诊断。本发明通过构建双分支交叉注意力池化模块,解决了多标签图像中对象大小位置不一且部分特征之间的视觉相似性问题,能够基于裂隙灯图像准确地进行疾病类别和区域的多标签分类。
本发明授权基于双分支交叉注意力池化的眼前节疾病多标签分类方法在权利要求书中公布了:1.一种基于双分支交叉注意力池化的眼前节疾病多标签分类方法,其特征在于,包括如下步骤: S1、获取裂隙灯图像数据集,并对裂隙灯图像进行数据预处理,统一数据集中图像尺寸; S2、将预处理后的图像输入由分支1和分支2组成的双分支网络中,通过分支1运算输出切片序列,通过分支2运算输出特征图F2; 所述步骤S2中,由ResNet50网络模型构成的分支1和分支2分别提取得到主干特征图,对分支1提取得到的主干特征图进行投影得到切片序列,并输入Transformer模块,输出切片序列;对分支2提取得到的主干特征图直接作为特征图输入卷积模块,输出特征图,所述分支1和分支2之间通过交互模块进行特征耦合,特征耦合以后,分支1输出切片序列,该切片序列形状与输入交互模块前切片序列形状一致,分支2输出特征图,该特征图与输入交互模块前特征图形状一致; S3、对切片序列进行重组得到特征图F1,特征图F1和特征图F2分别进行卷积操作得到注意力图A1和A2,将特征图F1、F2和注意力图A1、A2进行双分支交叉注意力池化,输出疾病种类和疾病区域结果; 所述双分支交叉注意力池化的方法为: 将分支1的特征图和注意力图记作F1、A1,将分支2的特征图和注意力图记作F2、A2,对F1和A1、A2分别进行双线性注意力池化,得到的结果在维度为1的通道上进行拼接,记为特征矩阵1,同理对F2和A1、A2分别进行双线性注意力池化,得到的结果在维度为1的通道上进行拼接,记为特征矩阵2; 输出疾病种类和疾病区域分类结果的方法为: 细粒度的疾病分类损失,对特征矩阵1和特征矩阵2分别连接输出通道为疾病类别数的全连接层,疾病类别数为C,得到的logits经过sigmoid激活函数输出疾病类别预测1、疾病类别预测2,和真实标签计算交叉熵损失函数; 粗粒度的疾病区域分类损失,上述C个类别属于细粒度级别的标签,同时,通过将疾病按照其所在区域进行划分,得到粗粒度级别的标签,即区域类别,区域类别数为R,粗粒度的疾病区域预测计算方法如下:对特征矩阵1、特征矩阵2后分别连接类别数为R的全连接层和ReLU激活函数,得到疾病区域预测值;对疾病类别预测1、疾病类别预测2后分别连接类别数为R的全连接层,得到疾病区域预测值,将上述得到的预测值相加,最后输入sigmoid激活函数即可得到粗粒度的疾病区域预测值,和真实标签计算交叉熵损失函数; S4、利用分支2中输出的注意力图A2对经过数据预处理的图像通过数据增强模块进行注意力引导的数据增强,数据增强模块包括对其进行注意力图引导的裁剪、cutmix、mixup,得到三张新的图片,记为增强图片1、增强图片2、增强图片3; S5、将数据增强后的得到增强图片1、增强图片2、增强图片3以及对应的原图分别通过双分支网络各自输出四组疾病种类和疾病区域结果,每一组预测结果输出分别和标签进行损失计算,并将得到的损失加权求和,来对多标签分类模型进行监督训练,多标签分类模型训练到设定的迭代次数时停止训练,期间以验证集的最优评价指标结果保存模型参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市钱塘新区白杨街道2号大街1158号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。