北京航空航天大学高瀚君获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117079752B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311064280.8,技术领域涉及:G16C60/00;该发明授权一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法是由高瀚君;陶鑫瑞;吴琼;陈晓满;袁松梅设计研发完成,并于2023-08-23向国家知识产权局提交的专利申请。
本一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法在说明书摘要公布了:本发明涉及深度学习技术领域,且公开了一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法,包括数据预处理、条件对抗生成网络和Pix2Pix的生成器设计、判别器设计以及生成器与判别器的对抗能力控制设计;所述数据预处理包括原始缺陷图片的筛选以及语义分割图片的标注,并将制作的数据集图片及标签转化成深度学习模型所能处理的张量类型,并将图片归一化到‑1~1之间;所述生成器设计用于将给定的语义分割图片转换为缺陷图片,使用U‑Net结构,并通过引入注意力机制来提高模型的性能;所述判别器设计用于对生成的缺陷样本图片进行评估;所述生成器与判别器的对抗能力控制设计用于平衡生成器和判别器的能力,使得生成器能更好地生成包含缺陷特征的图片。通过本发明,解决了缺陷识别任务中样本数量少及不均衡的问题,使得缺陷分类模型具有更强的泛化能力。
本发明授权一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法在权利要求书中公布了:1.一种基于改进Pix2Pix的复合材料涂层缺陷数据集扩增方法,其特征在于,包括以下步骤: S1、基于条件生成对抗网络获得语义分割样本: S11、数据预处理: S111、语义分割图片制作:创建“0”、“1”、“2”三个文件夹,分别代表无缺陷图片、漏涂缺陷、过量涂覆三种情况;人工筛选获取到的原始图片,确定其缺陷类型后放置在对应的文件夹下;使用的无缺陷图片共450张、漏涂缺陷图片486张、过量涂覆443张;使用Labelme工具对原始图片中的缺陷进行标注;使用Labelme标注后的文件为json格式的文件;使用Python中的json库对json文件进行解析,并使用OpenCV库绘制语义分割图片; S112、标签转化为独热编码:将标签转换为独热编码可以提供一种统一的表示方式,使生成器和判别器网络能够更好地协同工作,提高生成对抗网络的性能;标签转换为独热编号后,可以更方便参与卷积或反卷积; S113、图片的张量化及归一化:使用PyTorch里的ToTensor以及Normalize方法将每一张输入的灰度图片转换到-1~1之间; S114、自定义数据集类:自定义一个继承Dataset类的数据集类,用于处理自己的数据集,在类中,定义了获取文件数量、获取索引值、获取标签值、获取图片路径值等成员,用于对图片进行灵活处理; S115、数据集制作:在S114所述的自定义数据集类基础上加载语义分割图片,设置批量值BATCH_SIZE大小为16,开启随机读取和重复读取; S12、生成器设计: S121、创建随机噪声:定义一个长度为500的噪声,该噪声遵循正态分布;该噪声是生成器的输入,噪声数据经过一系列的全连接层以及反卷积层操作后,变换为1x256x256的灰度图,即形成目标图片; S122、改变标签数据形状:标签经过独热编码之后,将成为长度为3的张量,经过数层全连接层神经网络之后,将该向量的形状转化为128,16,16; S123、改变输入噪声形状:输入噪声的原始形状为长度500且服从正态分布的随机张量,将该张量经过数层全连接层神经网络之后,将该向量的形状转化为128,16,16; S124、合并标签与噪声:将改变形状后的输入噪声与标签进行通道维度上的合并,即变成256,16,16形状的数据; S125、反卷积与批标准化:对合并后的数据进行反卷积操作,为了将其形成最后的目标图片大小,并且获取到真正有用的缺陷特征信息,每一次反卷积都是使用leaky_relu函数进行激活,最终形成1,256,256形状的数据,即一张灰度图; S13、判别器设计 S131、改变标签数据形状:判别器接受到的数据有两个,一个是生成的图片,另一个是独热编码后的标签,为了能让判别器对两者进行判断,需要先将标签通过全连接神经网络转换为1x256x256大小的形状,再将其展平为1,256,256形状; S132、合并标签与生成的图片:将形状为1,256,256的标签与形状为1,256,256的生成图片进行合并,变为形状为2,256,256的数据; S133、设计卷积层:设计卷积层,依次将合并后的形状通道数增加,宽和高减小,每一次反卷积都是使用leaky_relu函数进行激活;最终形成形状为128,63,63的张量; S134、批标准化:对形状为128,63,63的张量进行批标准化处理; S135、数据降维:将128,63,63的张量展平为长度为128x63x63长度的张量; S136、全连接层:使用全连接层,将128,63,63连接到单位1的张量上,再使用sigmoid进行激活; S14、学习速率的设置:将生成器的学习速率设置为0.001,将判别器的学习速率设置为0.0001;这样的好处是削弱判别器的能力,使得生成器在早期阶段具有抗衡判别器的能力; S15、配置模型训练参数 S151、设备选择:为了使得深度学习的代码具有更好的兼容性,先对硬件设备的GPU可用性进行判断,如果GPU不可使用,则设备选择为CPU; S152、损失函数:因为判别器最后的输出结果是0~1的概率值,属于二分类问题,选择BCELoss作为训练的损失函数; S153、优化器选择:生成器和判别器的优化器均选择Adam,除学习速率如S14中所述,Adam的其他参数均为默认值; S16、模型的保存:一个训练完成的神经网络,包含结构和权重两个部分;当训练完成之后,所有的信息都保存在了model中,但此时只在内存里;通过save方法,将网络的框架以及权重全都保存到“CGAN_model.pth”文件中;在需要调用时,只需要加载pth文件即可; S2、基于改进的Pix2Pix生成缺陷图片: S21、数据预处理 S211、阈值分割:通过所述S1中的方法,可以获得训练过程中得到的图片,通过手动采集质量较好、具有缺陷特征的图片,放置在“Pix2PixData”数据集中,先使用基于OpenCV的阈值分割、中值滤波和高斯滤波技术对生成的图片进行初步处理,去除低亮度的像素值、椒盐噪声以及高斯噪声;共获得生成的漏涂缺陷图片1600张,生成的过量涂覆缺陷图片1500张; S212、语义分割:使用Labelme工具对去除噪声之后的缺陷图片进行语义分割,使用OpenCV库绘制的语义分割图片将作为Pix2Pix的标签输入进行缺陷图片的生成; S213、建立两个变量imgs_path和annos_path,并通过glob方法将原始缺陷图片以及语义分割图片的所有路径存储到变量中; S214、图片的张量化及归一化:使用PyTorch里的ToTensor以及Normalize方法将每一张输入的灰度图片转换到-1~1之间; S215、自定义数据集类:自定义一个继承Dataset类的数据集类,用于处理自己的数据集,在类中,定义了获取文件数量、获取索引值、获取标签值、获取图片路径值等成员,用于对图片进行灵活处理; S216、数据集制作:在S111所述的自定义数据集类基础上加载原始图片以及对应的语义分割图片,设置批量值BATCH_SIZE大小为16,开启随机读取和重复读取; S22、Pix2Pix生成器设计: S221、定义下采样类:该类命名为Downsample,由一个卷积层、一个LeakyReLU激活函数、一个批标准化组成,其中批标准化设置了一个触发条件,需要设置参数is_bn值为True才会激活,这样的设计可以灵活使用批标准化; S222、定义上采样类:类命名为Upsample,该类由一个反卷积层、一个LeakyReLU激活函数、一个批标准化组成,并设置了dropout的触发条件,当参数is_drop值为True才会激活,用于增加生成器的随机性; S223、定义通道注意力机制类:类命名为ChannelAttention,该类下默认通道缩减比例为16,并创建一个自适应平均池化层,将输入的特征图池化成一个尺寸为1x1的特征图;定义一个序列模型,包括两个线性层和激活函数,用于学习通道权重;首先,通过一个线性层将输入特征图的通道数降低为原来的116,然后经过ReLU激活,接着再通过一个线性层将通道数恢复到原始值,最后经过Sigmoid激活函数,得到通道注意力权重;使用前向传播函数,计算通道注意力的输出;通过全局平均池化将输入特征图降维到每个通道的平均值,然后经过学习到的通道权重,得到加权的通道特征。这个加权的特征与原始输入特征图相乘,产生增强的通道注意力特征; S224、定义空间注意力机制类:类命名为SpatialAttention;创建一个卷积层,输入通道数为2平均值和最大值的堆叠,输出通道数为1,卷积核大小为3或7,不使用偏置。通过计算输入特征图的平均值和最大值,得到两个特征图,然后将这两个特征图堆叠起来,输入到卷积层中,得到增强的空间注意力特征; S225、创建生成器:通过组合上采样和下采样,构成U-Net结构,输出3,256,256的图片,再将该数据灰度化,获得需要的灰度图;为了增强模型对输入数据的关注能力,提高模型性能,在U-Net结构中引入注意力机制,在上采样和下采样之间的层添加注意力模块; S23、Pix2Pix判别器设计: S231、判别器输入图片合并:判别器接受到的数据有两个,一个是生成的图片,另一个是语义分割图片,两者均为1,256,256图片,将两者合并,变为2,256,256的数据; S232、输出判别值:通过卷积、批标准化、全连接层,将其输出大小为1的数据,最后使用sigmoid函数进行激活,获得0~1的数值,作为判别值; S24、学习速率的设置:将生成器的学习速率设置为0.0001,将判别器的学习速率设置为0.00002;并且对学习速率设置衰减系数,这样的好处是削弱判别器的能力,使得生成器在早期阶段具有抗衡判别器的能力; S25、配置模型训练参数 S251、设备选择:为了使得深度学习的代码具有更好的兼容性,先对硬件设备的GPU可用性进行判断,如果GPU不可使用,则设备选择为CPU; S252、生成器损失函数:使用二分类的交叉熵损失函数,将判别器对生成图片的输出与全1向量进行对比,计算损失;此外引入L1损失,这部分损失用于约束生成器的输出与真实图片之间的相似性;综合考虑,生成器的总损失为交叉熵损失和L1损失的线性组合; S253、判别器损失函数:判别器损失函数用于鼓励生成器生成的图片被判别器判别为真实图片,通常包括两部分,分别为真实图片损失和生成图片损失;真实图片损失用于训练判别器辨别真实图片,使用一个二分类的损失函数,将判别器对真实图片的输出,生成图片损失;总的判别器损失为这两部分损失之和; S254、优化器选择:生成器和判别器的优化器均选择Adam,除学习速率如S24中所述,Adam的其他参数均为默认值; S26、模型的保存:一个训练完成的生成器,包含结构和权重两个部分;当训练完成之后,所有的信息都保存在了model中,但此时只在内存里;通过save方法,将网络的框架以及权重全都保存到“Pix2Pix_model.pth”文件中;在需要调用时,只需要加载pth文件即可; S27、缺陷图片的生成:基于S26中所述的生成器模型,构建一个循环,把如S212所述的语义分割图片作为输入,使用模型进行预测获得输出的缺陷图片。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励