西安电子科技大学韩冰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利基于时空倍频程卷积模块的轻量级视频显著性预测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118711105B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410857334.4,技术领域涉及:G06V20/40;该发明授权基于时空倍频程卷积模块的轻量级视频显著性预测方法是由韩冰;戴怡萱;韩怡园;高新波;刘鹏;杨铮设计研发完成,并于2024-06-28向国家知识产权局提交的专利申请。
本基于时空倍频程卷积模块的轻量级视频显著性预测方法在说明书摘要公布了:本发明公开了一种基于时空倍频程卷积模块的轻量级视频显著性预测方法,主要解决现有技术使用3D深度卷积网络规模过大,易产生资源受限与过拟合的问题。其实现方案是:分别获取训练数据集和测试数据集并对其进行预处理;构建轻量级时空卷积单元,并利用其构建多尺度特征提取链;构建特征融合模块,并将其与多尺度特征链连接构成轻量级多尺度视频显著性预测模型;用预处理后的训练数据通过Adam优化法对该视频显著性预测模型进行迭代训练;将预处理后的测试数据输入到训练后的轻量级多尺度视频显著性预测模型,得到视频显著性预测结果。本发明减小了视频显著性预测模型规模,提高了视频显著性预测结果的准确性,可用于帮助机器理解人类对于视频的视觉焦点。
本发明授权基于时空倍频程卷积模块的轻量级视频显著性预测方法在权利要求书中公布了:1.一种基于时空倍频程卷积模块的轻量级视频显著性预测方法,其特征在于,包括如下步骤: 1获取训练与测试数据集: 1a从公开网站获取DHF1K数据集和UCF-Sports数据集,并从DHF1K数据集中取出M个视频作为训练数据集,从UCF-Sports数据集中取出N个视频作为测试数据集,其中M大于等于600,N大于等于45; 1b根据数据路径读取训练数据集与测试数据集,对所有视频进行帧分离得到视频数据帧,对每个视频进一步创建帧名和注释名的列表,按照目标片段长度参数从帧名和注释名的列表中提取训练片段Clip1、训练注释片段Clip2与测试片段Clip3; 2数据集预处理: 2a根据目标尺寸对训练数据的视频图像帧和与之对应的注释图像帧依次进行调整、翻转和归一化,再将其转化为张量数据,最终得到对应的训练视频图像帧张量数据TrainT和与之对应的训练视频注释帧张量数据AnntT; 2b根据目标尺寸对测试数据的视频图像帧依次进行调整和归一化,再将其转化为张量数据,最终得到对应的测试视频图像帧张量数据TestT; 3构建轻量级多尺度视频显著性预测模型: 3a构建主要由3D化的倍频程卷积层3DOctave和时空多尺度倍频程卷积层SPM级联组成的轻量级时空卷积单元MLW; 所述3D化的倍频程卷积层3DOctave,其包括四个三维卷积层,一个三维池化层和一个三线性插值上采样层,其中一个三维池化层与一个三维卷积层串联,一个三线性插值上采样层与一个三维卷积层串联,这两个串联模块再与剩余的两个三维卷积层并联; 所述时空多尺度倍频程卷积层SPM,其包括x个三维卷积层,y个三维池化层和z个三线性插值上采样层,其中y个三维池化层分别与y个三维卷积层串联,z个三线性插值上采样层分别与z个三维卷积层串联,这y+z个串联模块再与剩余x-y-z个三维卷积层并联,其中x、y、z都为整数,x≥1且x>y,x>z; 3b由多个不同结构的特征提取模块和多个特征分离层级联组成的多尺度特征提取链,分别用于对不同尺度特征进行提取,每个模块由不同数量的轻量级时空卷积单元MLW连接组成; 所述多个特征分离层,其结构相同,每个特征分离层均由一个三维卷积层和一个三维池化层并联组成; 所述多个不同结构的特征提取模块,是由不同数量的轻量级时空卷积单元MLW串联组成,每个特征提取模块中串联的轻量级时空卷积单元MLW数量由模块次序i决定,即每个模块由2×i个轻量级时空卷积单元MLW串联组成,所有模块之间均通过一个时空多尺度倍频程卷积层SPM和一个特征分离层串联连接; 3c构建由多个并行的膨胀卷积层与时空多尺度倍频程卷积层SPM、逐点卷积模块、上采样层依次连接组成的特征融合模块; 所述膨胀卷积层与时空多尺度倍频程卷积层SPM,其由M个并行的膨胀卷积层与一个时空多尺度倍频程卷积层SPM串联组成,M≥2; 所述逐点卷积模块,其由N个逐点卷积层依次串联组成,每个卷积层的卷积核大小均为3×1×1,步幅均为2×1×1,N≥1; 所述上采样层,其包括一个放大因子为s的双线性插值上采样层,s1; 3d将步骤3b构建的多尺度特征提取链和步骤3c构建的特征融合模块级联,构成轻量级多尺度视频显著性预测模型,并将KL散度用作模型的损失函数LsS,A; 4将训练视频图像帧张量数据集输入到轻量级多尺度视频显著性预测模型,通过Adam优化法对其进行训练,得到更新后的轻量级多尺度视频显著性预测模型; 5将测试视频图像帧张量数据Ttest输入到训练后的轻量级多尺度视频显著性预测模型,得到显著性预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励