买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东石油化工学院申请的专利一种结构与纹理相互促成的图像修复方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116777770B 。

龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310660230.X，技术领域涉及：G06T5/77；该发明授权一种结构与纹理相互促成的图像修复方法是由文成林;曹飞龙;宋执环;张清华设计研发完成，并于2023-06-06向国家知识产权局提交的专利申请。

本一种结构与纹理相互促成的图像修复方法在说明书摘要公布了：本发明属于自然图像处理领域，特别涉及一种结构与纹理相互促成的图像修复方法。本发明遵循生成对抗网络的基本框架，包括双分支并行耦合生成器和双分支鉴别器两部分。双分支并行耦合生成器利用两个支流分别重建结构和合成纹理，在此过程中，两个支流进行频繁的双向交互，使结构和纹理相互获取互补信息，形成结构指导纹理合成，纹理促进结构重建的模式，同时，两者的频繁交互实现了结构和纹理的相互感知，精准地保证了两者之间的一致性。双分支鉴别器分别从结构和纹理两个方面对生成器生成的图像进行真假鉴别，含有结构对抗和纹理对抗两个过程，监督生成器生成结构和纹理都合理的图像。

本发明授权一种结构与纹理相互促成的图像修复方法在权利要求书中公布了：1.一种结构与纹理相互促成的图像修复方法，其特征在于：所述方法包括如下步骤： 步骤a、搭建双分支并行耦合生成器的网络框架： 双分支并行耦合生成器以边缘作为结构表示，以图像作为纹理表示，对图像的结构和纹理进行建模；该框架包含并行的结构支流和纹理支流；结构支流以受损边缘Ein、受损灰度图像Yin和二值掩码M为输入，旨在重建受损的结构，其中，所述二值掩码中，0代表未受损区域，1代表受损区域；纹理支流是以受损图像Iin和二值掩码M为输入，旨在为受损区域合成纹理细节；与此同时，在两个支流之间嵌入两种特征交互机制，即结构-纹理交互单元STIU和基于空间域和通道域的交互模块SCIM，用以实现结构特征和纹理特征的双向交互，使两者能够相互获取到互补信息，来增强自身特征； 双分支并行耦合生成器包括四个部分：1、结构-纹理交互的编码器STIE；2、结构-纹理远距离交互STDI；3、结构-纹理交互的解码器STID；4、结构-纹理融合STF； 其中，结构-纹理交互的编码器STIE包括结构编码器SE、纹理编码器TE和3个结构-纹理交互单元STIU；其中，结构编码器SE和纹理编码器TE都包含3层卷积层，结构编码器SE提取结构特征，纹理编码器TE提取纹理特征，且结构特征和纹理特征通过结构-纹理交互单元STIU进行双向交互、提取互补信息；结构-纹理交互的编码器STIE的步骤表示为如下公式： 在公式1中，i＝1,2,3；是SE中第i层卷积层输出的结构特征；TiTE是TE中第i层卷积层输出的纹理特征；和分别是SE和TE中第i层卷积层；和都是增强后的结构特征；和都是增强后的纹理特征；为STIE中第i个结构-纹理交互单元；“||”指按通道维度拼接操作；按照以上方式，计算出和两者随后被输出到下述的结构-纹理远距离交互； 结构-纹理远距离交互STDI包括结构瓶颈层SB、纹理瓶颈层TB和4个SCIM；结构瓶颈层SB和纹理瓶颈层TB都由4个残差空洞卷积模块RDCB组成，通过残差空洞卷积模块RDCB能够利用不同的空洞卷积层来搜索上下文信息，分别捕获结构和纹理的上下文信息；基于空间域和通道域的交互模块SCIM分别在空间域和通道域上对捕获的结构特征和纹理特征进行关注，实现结构-纹理的远距离交互；结构-纹理远距离交互STDI的模式表示为以下形式： 在公式2中，j＝1,2,3,4；是SB中第j个RDCB输出的远距离结构特征；是TB中第j个RDCB输出的远距离纹理特征；和分别为SB和TB中第j个残差空洞卷积模块；和都是增强后的远距离结构特征；和都是增强后的远距离纹理特征；SCIMj，是第j个基于空间域和通道域的交互模块；通过以上方式，计算出和两者随后被输入到下述的结构-纹理交互的解码器； 结构-纹理交互的解码器STID包括结构解码器SD、纹理解码器TD和3个STIU；结构解码器SD和纹理解码器TD都包含2层卷积层和2层反卷积层，分别对结构和纹理进行恢复；结构-纹理交互单元STIU用来对结构和纹理进行交互；具体地，结构解码器SD和纹理解码器TD中的第一层卷积层用来对和进行整合，分别得出和T1TD；随后过程的表达方式如下： 在公式3中，k＝1,2,3；和都是增强后的结构特征；和都是增强后的纹理特征；是STID中第k个结构-纹理交互单元；是SD中第k层卷积层输出的结构特征；是SD中第k+1层卷积层输出的结构特征；是TD中第k层卷积层输出的纹理特征；是TD中第k+1层卷积层输出的纹理特征；和是SD和TD中第k+1层卷积层；按照以上方式得出被恢复的结构特征和纹理特征 同时，在结构-纹理交互的解码器STID中构建了结构特征金字塔和纹理特征金字塔； 在得出恢复好的结构特征和纹理特征后，嵌入一个结构-纹理交互单元来对两者进行融合，表示为以下形式： 在公式4中，F1和F2是两个融合后的特征；STIUSTF·，为结构-纹理交互单元；为被恢复的结构特征；为被恢复的纹理特征； 最后，两融合特征被按通道维度拼接，输入到输出层来生成最后的预测图像Iout； 步骤b、结构-纹理双向交互模块的设计： 由步骤a看出，两个结构-纹理双向交互机制被嵌入到结构支流和纹理支流之间，分别是结构-纹理交互单元STIU和基于空间域和通道域的交互模块SCIM；结构-纹理交互单元STIU和基于空间域和通道域的交互模块SCIM都遵循以下形式： 在公式5中，和分别是交互增强后的结构特征和纹理特征；S和T分别是结构特征和纹理特征；f和g是可学习的权重，控制着结构信息对纹理信息的权衡，或者纹理信息对结构信息的权衡；代表逐元素相加；⊙代表逐元素相乘； 在结构-纹理交互单元STIU中，f和g的表达形式如下： 在公式6中，Wf和Wg为门控权重；σ为Sigmoid函数；Conv3×3是卷积核大小为3的卷积层；S和T分别是结构特征和纹理特征； 在基于空间域和通道域的交互模块SCIM中，f和g都是通过空间关注和通道关注来实现，表示为以下形式： 在公式7中，Pf和Pg为空间关注的门控权重；Qf和Qg为通道关注的门控权重；σ为Sigmoid函数；Conv5×5是卷积核大小为5的卷积层；Avgpool和Maxpool分别指的是平均池化操作和最大池化操作；MLP是多层感知机；S和T分别是结构特征和纹理特征； 步骤c、构建双分支鉴别器： 双分支鉴别器旨在将生成图像Iout和真实图像I区分开，包括并行的结构鉴别器和纹理鉴别器，分别对图像的结构和纹理进行真假判别；其中，结构鉴别器和纹理鉴别器都包含5层卷积层，并在末尾接一个Sigmoid函数； 纹理鉴别器以生成图像Iout或真实图像I为输入，能够输出对两者的纹理得分tfake和ttrue；对结构鉴别器而言，首先通过边缘检测器提取生成图像Iout的生成边缘Eout，以此作为生成图像的结构表示；结构鉴别器以生成边缘Eout或真实边缘E为输入，输出两者的结构得分sfake和strue；其中，边缘检测器通过一个残差网络模块实现的；以上过程表达为： tfake＝DsEout,ttrue＝DsE,sfake＝DtIout,strue＝DtI.公式8 公式8中，tfake为纹理鉴别器对生成图像纹理的评分；ttrue为纹理鉴别器对真实图像纹理的评分；sfake为结构鉴别器对生成图像结构的评分；strue为结构鉴别器对真实图像结构的评分；Ds和Dt分别为结构鉴别器和纹理鉴别器；Iout为生成图像；I为真实图像；Eout为生成边缘；E为真实边缘； 随后，生成图像纹理和结构得分tfake和sfake按通道维度拼接，得出总得分x1，真实图像纹理和结构得分ttrue和strue按通道维度拼接，得出总得分x2，这两个得分将用于后续对抗损失的计算； 步骤d、网络的训练： 步骤b中设计的两个结构-纹理交互机制被嵌入到步骤a中的双分支并行耦合生成器中，实现结构特征与纹理特征之间的双向交互，使得结构和纹理能够相互促成、相互贡献，从而双分支并行耦合生成器能够生成结构和纹理都合理的图像；步骤c中的双分支鉴别器对双分支并行耦合生成器生成的图像的真假进行打分判别，监督生成器的生成质量，进一步激发生成器的生成潜能； 首先，计算对抗损失，对双分支鉴别器的网络参数进行更新；然后，冻结双分支鉴别器的网络参数，计算L1重建损失、感知损失、风格损失、对抗损失以及金字塔损失，对双分支并行耦合生成器的网络参数进行更新；按照这种训练方式，鉴别器的判别能力不断提升，生成器的生成能力也不断提升，从而生成更合理的图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东石油化工学院，其通讯地址为：525000 广东省茂名市茂南区官渡二路139号大院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。