中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室));西安电子科技大学何刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室));西安电子科技大学申请的专利一种基于深度学习网络的超高清视频压缩损伤等级评估方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116524387B 。
龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211575398.2,技术领域涉及:G06V20/40;该发明授权一种基于深度学习网络的超高清视频压缩损伤等级评估方法是由何刚;蔡媛媛;徐莉;黄林轶;韦胜钰设计研发完成,并于2022-12-08向国家知识产权局提交的专利申请。
本一种基于深度学习网络的超高清视频压缩损伤等级评估方法在说明书摘要公布了:本发明公开了一种基于深度学习网络的超高清视频压缩损伤等级评估方法,包括以下步骤;步骤1,建立多分辨率压缩损伤训练集,验证集,测试集:步骤2,构建时频域结合的压缩损伤等级评估网络:步骤3,训练时频域结合的压缩损伤等级评估网络:步骤4,测试多分辨率压缩损伤测试集的准确率;步骤5,评估时频域结合的压缩损伤等级评估网络。本发明针对超高清视频压缩损伤来进行评估,解决了压缩损伤数据集制作成本高,不易扩充、视频压缩损伤评估网络未采用端对端的设计,泛化能力不足以及超高清视频评估耗时长的问题。
本发明授权一种基于深度学习网络的超高清视频压缩损伤等级评估方法在权利要求书中公布了:1.一种基于深度学习网络的超高清视频压缩损伤等级评估方法,其特征在于,包括以下步骤; 步骤1,建立多分辨率压缩损伤训练集,验证集,测试集: 步骤2,构建时频域结合的压缩损伤等级评估网络: 步骤3,训练时频域结合的压缩损伤等级评估网络: 步骤4,测试多分辨率压缩损伤测试集的准确率:将视频帧遍历裁剪为448×448的块,逐块输入到训练好的时频域结合的压缩损伤等级评估网络中,将图像块预测出的平均值作为该帧的压缩损伤评估类别; 步骤5,评估时频域结合的压缩损伤等级评估网络; 所述步骤1具体包括: 步骤1.1,训练集和验证集初始数据采集,从网上收集无失真的视频流数据,采集的数据包含多种分辨率,包括1080p,2k,4k分辨率,场景内容涵盖人物,动物,自然景观,动画,建筑,电影;对收集到的数据进行筛选,最后包含60个6~8s时长的无失真视频,作为制作训练集无失真视频序列集; 步骤1.2,对无失真视频序列集进行剪切,在制作帧级数据集之前,对于长序列进行裁剪,按步距10帧舍弃掉一部分数据,将剩余的数据按10帧为一个短序列,使用HEVC编码方式,通过设置不同的恒定速率因子产生不同等级的压缩损伤,最终得到带有等级标签的失真序列; 步骤1.3,将步骤1.2的产生的失真序列在光线充足的环境下使用PotPlayer视频查看器播放,每位标注人员对显示屏中展示的视频以及对应的等级标签进行筛选,剔除掉异常视频数据; 步骤1.4,对于每个视频数据,与网络输入相对应,取帧对作为数据集,得到多对图像,每对图像的等级标签对应步骤1.2压缩损伤视频流生成过程中的产生的标签,分别为等级0,1,2,3,4,等级越高表示图像包含的压缩损伤更严重; 步骤1.5,训练集和验证集分别包含步骤1.4产生的80%和20%的数据; 步骤1.6,测试集制作,包含HEVC标准序列中的1080p,2k视频,以及从网上采集的无失真视频,使用步骤1.2步骤1.3中介绍的方法进行数据集的制备,得到包含等级标签的视频,将短视频序列进行了拼接,最后,在验证数据库中一共提供2~12s不等的视频; 所述步骤2具体包括: 步骤2.1,构建一个卷积模块以及输入卷积层,该模块包括三个卷积层和一个相加层,其中,三个卷积层依次串联后与输入第一卷积层的特征向量一同送入相加层; 该卷积模块的前向传播过程为:特征向量依次经过第一卷积层和第二卷积层以及第三卷积层,输出与特征向量形状一致的向量,这两个特征向量再经过相加层进行相加操作后输出一个特征向量; 使用pytorch设置各层参数为:输入卷积层的卷积核大小设置为7×7,步长设置为2,激活函数采用relu实现,卷积模块中第一、第二、第三卷积层的卷积核大小分别设置为1×1、3×3、1×1,步长均设置为1,激活函数均采用relu实现,相加层要求两个输入向量形状一致; 步骤2.2,生成时域信息和频域信息,时域信息使用相邻帧之间的方差来获得,用来反映相邻帧的运动情况;频域信息使用离散余弦变换来获得,将读入的RGB图像转变为YUV图像,并在Y通道上进行离散余弦变换,获得频域信息; 步骤2.3,构建时域特征提取网络,其结构依次为:输入卷积层,第一最大池化层、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、第十二卷积模块、第十三卷积、第十四卷积模块、第十五卷积模块、第十六卷积模块; 时域信息特征提取的前向传播过程为:输入步骤2.2获取的时域信息进入输入卷积层提取特征后,首先通过第一最大池化层和十六个串联的卷积模块,得到时域信息的特征向量; 所述步骤2.3中网络的各层参数设置如下: 将输入卷积层的卷积核大小设置为7×7,步长分别设置为2,输入通道数分别设置为2,输出通道数分别设置为64; 将第一最大池化层的池化核大小均设置为3×3,步长均设置为2,填充均设置为2,膨胀系数均设置为1; 所述第一至第十六卷积模块的结构均与步骤2.1的卷积模块相同,将第一至第十六卷积模块内部的第一卷积层设置输入通道数依次设置为:64、256、256、256、512、512、512、512,1024,1024,1024,1024,1024,1024,2048,2048;输出通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;将第一至第十六卷积模块内部的第二卷积层的输入通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;输出通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;将第一至第十六卷积模块内部的第三卷积层的输入通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;输出通道数依次设置为:256,256,256,512,512,512,512,1024,1024,1024,1024,1024,1024,2048,2048,2048; 步骤2.4,构建频域特征提取网络,其结构依次为:第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、第十二卷积模块、第十三卷积、第十四卷积模块、第十五卷积模块、第十六卷积模块; 频域信息特征提取的前向传播过程为:输入步骤2.2获取的频域信息通过十六个串联的卷积模块,得到频域信息的特征向量; 所述步骤2.4中网络的各层参数设置如下: 所述第一至第十六卷积模块的结构均与步骤2.1的卷积模块相同,将第一至第十六卷积模块内部的第一卷积层设置输入通道数依次设置为:64、256、256、256、512、512、512、512,1024,1024,1024,1024,1024,1024,2048,2048;输出通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;将第一至第十六卷积模块内部的第二卷积层的输入通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;输出通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;将第一至第十六卷积模块内部的第三卷积层的输入通道数依次设置为:64,64,64,128,128,128,128,256,256,256,256,256,256,512,512,512;输出通道数依次设置为:256,256,256,512,512,512,512,1024,1024,1024,1024,1024,1024,2048,2048,2048; 步骤2.5,构建时频域融合模块以及压缩损伤等级评估模块,其结构为concat层,自适应平均池化层、第一全连接层、第二全连接层、第三全连接层; 前向传播过程为:将步骤2.2和步骤2.3的输出作为concat层的输入,concat层输出依次输入自适应平均池化层、第一全连接层、第二全连接层、第三全连接层,输出五分类向量; 所述步骤2.5网络的各层参数设置如下: 将concat层的拼接维度设为一维; 将自适应平均池化层的池化参数设置为1×1; 将第一全连接层输入神经元的个数设置为4096,输出神经元的个数设置为2048;第二全连接层输入神经元的个数设置为2048,输出神经元的个数设置为2048;第三全连接层输入神经元的个数设置为2048,输出神经元的个数设置为5。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室));西安电子科技大学,其通讯地址为:511370 广东省广州市增城区朱村街朱村大道西78号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励