华南农业大学边山获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南农业大学申请的专利一种基于时空注意力引导融合的深度伪造检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117238011B 。
龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310923711.5,技术领域涉及:G06V40/16;该发明授权一种基于时空注意力引导融合的深度伪造检测方法是由边山;陶应文设计研发完成,并于2023-07-26向国家知识产权局提交的专利申请。
本一种基于时空注意力引导融合的深度伪造检测方法在说明书摘要公布了:本发明涉及人脸识别技术领域,公开了一种基于时空注意力引导融合的深度伪造检测方法,通过使用基于Xception网络的空间域和时序特征提取分支,设计注意力互引导模块来促进两个分支能够自适应的关注更细微的伪造痕迹,排除无关信息的干扰,同时设计跨模态注意力融合模块,筛选重要的时序信息融入到空间域特征中,捕捉大多数伪造视频中存在的不一致性问题,提升模型对未知伪造方法的检测能力。
本发明授权一种基于时空注意力引导融合的深度伪造检测方法在权利要求书中公布了:1.一种基于时空注意力引导融合的深度伪造检测方法,包括: S1、获取数据集,得到数据集相邻帧之间的残差,构建残差图,使用视频处理工具得到数据集的I帧; S2、使用DLIB人脸提取模型提取残差图和I帧的人脸区域,由人脸区域组成新数据集,将新数据集划分为训练集和测试集; S3、设置训练集和测试集的分辨率大小,并对训练集和测试集进行数据增强,得到增强后的训练集和测试集; S4、将I帧的人脸区域和残差图经过卷积块卷积后分别得到第一特征图和第二特征图,对I帧的人脸区域进行卷积的分支为空间域分支,对残差图进行卷积的分支为残差分支,将第一特征图和第二特征图输入到跨模态注意力融合模块中得到注意力融合的时序特征,将时序特征汇入到空间域分支中,得到输入下一层卷积的特征图,跨模态注意力融合模块的构建过程为第一特征图经过卷积块卷积后得到第一查询,第二特征图经过两个不同的卷积块卷积得到第二查询和时域特征值,将第一查询和第二查询计算两个模态的相似性得到相似性值,结合相似性值和权值矩阵得到注意力图; 在步骤S4中,得到输入下一层卷积的特征图的公式如下: F′=FT+F 其中ft代表展平操作,K代表在空间域特征中得到的查询,KR代表在时域特征中得到的查询,C代表相似性值,W代表权值矩阵,VR代表在时域特征中得到的值,A代表注意力图,FT代表融合得到的时序特征,代表矩阵相乘,softmax代表归一化指数函数; S5、获取残差图和I帧的人脸区域的特征表示,分别为第一特征表示和第二特征表示,对第一特征表示进行平均池化和最大池化,得到两个第一2D映射,对第二特征表示进行平均池化和最大池化,得到两个第二2D映射,分别将两个第一2D映射和两个第二2D映射进行拼接并通过一个标准的卷积层进行卷积,得到两个2D空间注意力图,将两个2D空间注意力图进行标准化得到两个最终注意力图,将获得的两个最终注意力图分别用来表示RGB特征和帧间残差特征,得到注意力互引导模块; S6、将训练集和测试集输入到双流网络模型中进行学习,设置学习批次和学习率,得到预训练权重,双流网络包含两个分支,每个分支使用Xception网络作为时域和空间域特征提取的骨干网络,将预训练权重输入到注意力互引导模块中进行训练,得到训练后的注意力互引导模块; S7、调整学习率,重复步骤S6,得到多组模型权重,选择评价标准,在得到的多组模型权重中进行测试,选取跨库效果最好的模型权重作为跨库检测的最终结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南农业大学,其通讯地址为:510642 广东省广州市天河区五山路483号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。