买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种基于Transformer的面向记忆的单图片去雨方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116109499B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211576398.4，技术领域涉及：G06T5/73；该发明授权一种基于Transformer的面向记忆的单图片去雨方法是由王廷;胡桥桥设计研发完成，并于2022-12-09向国家知识产权局提交的专利申请。

本一种基于Transformer的面向记忆的单图片去雨方法在说明书摘要公布了：本发明公开了一种基于Transformer的面向记忆的单图片去雨方法，其特点是采用添加自监督内存模块的编码器‑解码器结构，能够很好地处理输入图片，更好的提取所需特征，所述自监督内存模块为具有记忆的神经网络，可以记忆记录降雨的各种形态，其中记忆中的每个条目对应于雨水模式的原型特征；所述自监督内存模块中添加了自我训练机制，增强算法对自然雨水图片的适配性。本发明与现有技术相比具有去除更多不同外观的雨纹，恢复更清晰的背景场景，同时更好地保留背景的结构和细节，自我训练机制的加入使得算法更加适配自然雨水图片，在自然雨水图片上也能达到很好的效果。

本发明授权一种基于Transformer的面向记忆的单图片去雨方法在权利要求书中公布了：1.一种基于Transformer的面向记忆的单图片去雨方法，其特征在于，该方法利用Transformer关注全局特征的特性，使用具有记忆功能的自监督内存模块记录雨水条纹的各种形态，将雨水图片上的约束信息转移到自然雨水图片上，使其能够更好地被训练，单图片去雨具体包括以下步骤： 1初始化阶段 采用swin_large_patch4_window12_384_22k.pth为预训练模型，利用给定的参数预训练初始化swintransformer的网络权重； 2将训练集送入Transformer的编码器，PatchPartition对输入图像进行下采样，将原始输入图像H、W、C，宽高下降14，通道调整到48，LinearEmbedding对PatchPartition的输出在通道维度进行调整为C后，通过LayerNormalization对featuremap进行处理； 3将LayerNormalization处理过的featuremap通过SwinTransformerBlocker和PatchMerging组成的编码器单元，然后对全局关系进行建模并进行层次特征变换，同时缩小特征图的宽高，扩大感受野，得到新的特征值； 4将步骤3中的特征值映射成内监督内存模块的zx，然后使用自监督更新和软注意阅读更新，更新记忆内存模块； 5使用具有标记的数据进行在线训练去雨网络，然后使用一个额外的目标网络为未标记的数据生成伪标签和新的特征值； 6使用3个解码块和DimExpanding来解码步骤5生成的特征值，并进行维度变换，逐渐恢复图像； 7重复上述步骤1~步骤6对网络不断更新，得到最优网络权重； 所述步骤4中的记忆内存模块由m个记忆项组成，其中每个项的维度为与编码，所述编码zx由下述a式定义为： a； 其中，为zx的第n个子项； 所述更新记忆内存模块具体包括： 1第i个存储项和zx的第j列向量的余弦相似度由下述b式计算： b； 2使用下述c式检索最相关的记忆项，把最大的一个编号赋值给： c； 3基于查询具有最相关的记忆项来更新内存项，所述更新内存项由下述d式定义为： d； 其中，为1，不等于0，； 所述步骤4的软注意阅读通过上述a式对更新后的内存项进行相似度矩阵的计算，然后，通过softmax操作获得注意，其中aij的具体计算方式见公式e： e； 最后，通过下述f式定义的基于注意的内存项聚合计算，获得基于内存的表示： f； 所述步骤5中的在线训练采用监督去雨和无监督去雨的自训练机制，具体包括下述步骤： 1监督去雨使用具有标记的数据进行在线训练去雨网络，其中优化目标为像素级L1损失函数，其损失函数Lsu由下述g式定义为： g； 2无监督去雨采用动量编码器进行自我监督表示学习，使用一个额外的目标网络为未标记的数据生成伪标签，是以指数移动平均更新的在线网络，在每一个训练步骤之后，动量由下述h式更新： h； 其中，是衰减速率； 3对于雨天图像集合中任意一个未标记的图像，采用目标网络产生其对应的伪标签，组成雨天图像集合相应的伪标签集，得到下述i式表示的一组含雨残差网络： i； 其中，和分别为合成配对集和伪配对集； 4通过对,,,等图像集进行数据增强，得到一个有噪声的数据集，以及雨残差集r，随机抽取一幅图像，其对应的标签是，即干净图像的标签是自身，以及一个残差图像，其中噪声图片由下述j式计算： j； 式中，是一个从均匀分布采样的随机值； 5对增强数据使用像素级L1损耗，其损失函数由下述k式定义为： k； 6采用总变分正则化项对恢复后的背景图像由下述l式进行平滑处理，并定义其损失函数为： l； 7在线网络的总目标由下述m定义为： m； 其中，λ1，λ2，λ3为平衡每个项目的超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。