华侨大学陈婧获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华侨大学申请的专利基于Swin-Transformer架构的空频域压缩视频增强方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120147166B 。
龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510613168.8,技术领域涉及:G06T5/60;该发明授权基于Swin-Transformer架构的空频域压缩视频增强方法及装置是由陈婧;茹海涵;曾焕强;朱建清;施一帆;林琦;郑惠洁设计研发完成,并于2025-05-13向国家知识产权局提交的专利申请。
本基于Swin-Transformer架构的空频域压缩视频增强方法及装置在说明书摘要公布了:本发明公开了一种基于Swin‑Transformer架构的空频域压缩视频增强方法及装置,涉及图像处理领域,包括:提取目标帧及目标帧前后帧信息,使用卷积神经网络提取多帧特征信息并将其对齐并且融合成原始视频帧的残差图;使用Harr小波变换提取残差图宽、高各12尺寸的高频分量特征和低频分量特征;将提取到的低频分量特征使用基于Swin‑Transformer模块进行纹理和结构信息建模,对提取到的高频分量特征使用U‑net的方式进行特征重建;将重建后的高低频分量特征进行Haar小波反变换,并加入到原始视频帧中得到增强后的视频帧。本发明通过对残差图进行频域特征提取并重建,有效解决现阶段缺损压缩视频质量增强中存在对前后帧应用较少导致增强视频帧细节纹理表现不突出的问题,实现更好的增强效果。
本发明授权基于Swin-Transformer架构的空频域压缩视频增强方法及装置在权利要求书中公布了:1.一种基于Swin-Transformer架构的空频域压缩视频增强方法,其特征在于,包括: S101,获取由原始目标帧及目标帧前后各若干帧组成的视频序列,基于类Unet结构的卷积神经网络提取视频序列中的多帧视频特征并转换为多通道特征图;利用可变形卷积对多通道特征图进行特征对齐并且重建为残差图; S102,对残差图进行Haar小波变换得到残差图的二分之一宽和高尺寸的高频分量特征和低频分量特征;所述高频分量特征包括垂直高频分量特征、水平高频分量特征和对角高频分量特征; S103,将低频分量特征通过依次连接的多个Swin-Transformer块、一多通道注意力模块及一全局滤波模块进行特征提取及重建,获得重建后的低频分量特征; S104,对垂直高频分量特征、水平高频分量特征和对角高频分量特征分别通过类Unet结构的残差连接神经网络进行高频特征信息提取输出垂直高频特征信息、水平高频特征信息和对角高频特征信息,对垂直高频特征信息、水平高频特征信息和对角高频特征信息通过多层卷积神经网络进行融合处理获得重建后的高频分量特征; S105,将重建后的高频分量特征与重建后的低频分量特征进行逆Haar小波变换得到还原后的残差图,将还原后的残差图加入到原始目标帧得到增强后的目标帧; 所述S103中,多个Swin-Transformer块的处理过程如下: 将低频分量特征经过一个逐点卷积扩充通道数到Cembed,再通过一个卷积进行一次降采样得到并通过第一Swin-Transformer块提取特征,再经过一次同样的降采样得到对使用通过第二Swin-Transformer块提取特征得到然后经过特征提炼模块及第三Swin-Transformer块进一步深化特征表达,并得到输出将和进行拼接,通过残差连接的方式提升中间层特征表达能力,通过一个卷积和经过第四Swin-Transformer块得到将与进行拼接,通过一个卷积以及第五Swin-Transformer块,使用一个转置卷积进行一次上采样操作得到将和进行拼接,再次通过一个卷积,并通过第六Swin-Transformer块以及一次上采样操作得到将送入多通道注意力模块中;其中,H和W分别表示特征的高度和宽度,R表示实数集; 所述S103中,多通道注意力模块的处理过程如下: 在多通道注意力模块中,首先使用层归一化保证每一个通道的数据特征分布稳定,然后使用逐点卷积和深度可分离卷积融合特征并将结果分隔为Q、K和V,即 并通过简化计算注意力机制的公式进行处理得到自注意力分数; 将自注意力分数通过一个逐点卷积和LeakyReLU,并通过加权连接的方式得到特征的输出至全局滤波模块; 所述S103中,全局滤波模块的处理过程如下: 接收多通道注意力模块的输出,首先经过一个层归一化处理,然后通过一个分组卷积将层归一化的结果扩展为两个分支进行计算,两个分支逐元素相乘得到残差结果,再通过一个分组卷积,并且加入输入得到最终低频重建结果
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华侨大学,其通讯地址为:362000 福建省泉州市丰泽区城东城华北路269号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。