买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥高维数据技术有限公司申请的专利一种融合多模态信息的深度伪造视频检测方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119251738B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411489055.3，技术领域涉及：G06V20/40；该发明授权一种融合多模态信息的深度伪造视频检测方法及装置是由李光辉;彭胜聪;郭玉刚设计研发完成，并于2024-10-24向国家知识产权局提交的专利申请。

本一种融合多模态信息的深度伪造视频检测方法及装置在说明书摘要公布了：本发明涉及一种融合多模态信息的深度伪造视频检测方法及装置，应用于视频检测技术领域。本发明采用了多头自注意力机制分别处理待检测视频的视频帧特征向量Xv和音频MEL频谱图的音频特征向量Xa，然后将所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa的两种模态特征进行加权融合，从而提升深度伪造视频检测方法的准确性与鲁棒性。多模态特征的融合能够充分利用不同模态信息的互补性，确保捕捉到更全面的特征，从而提升深度伪造视频检测的准确性与鲁棒性。

本发明授权一种融合多模态信息的深度伪造视频检测方法及装置在权利要求书中公布了：1.一种融合多模态信息的深度伪造视频检测方法，其特征在于，包括： S1.将待检测视频进行预处理，得到多个视频帧；所述待检测视频包括音频，每个视频帧包括所述音频； S2.获取所述待检测视频中的音频文件，并将所述音频文件转换为MEL频谱图； S3.针对所述多个视频帧的每个视频帧，提取所述每个视频帧的特征向量，对所述每个视频帧的特征向量进行融合得到所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa； S4.将所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa分别进行线性变换，分别映射到查询Q、键K和值V空间中，得到所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa的注意力机制的特征维度dk、所述待检测视频的视频帧特征向量Xv的查询向量Qv、键向量Kv、值向量Vv及所述音频MEL频谱图的音频特征向量Xa的查询向量Qa、键向量Ka、值向量Va，具体为： Qv＝Wqv*Xv；Kv＝Wkv*Xv；Vv＝Wvv*Xv Qa＝Wqa*Xa；Ka＝Wka*Xa；Va＝Wva*Xa 其中，Wqv，Wkv，Wvv分别是对所述待检测视频的视频帧特征向量Xv进行线性变换的权重矩阵，Wqa，Wka，Wva是对所述音频MEL频谱图的音频特征向量Xa进行变换的权重矩阵； S5.采用多头自注意力机制分别处理所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa，计算所述待检测视频的视频帧特征向量Xv的注意力权重矩阵Attentionv和所述音频MEL频谱图的音频特征向量Xa的注意力权重矩阵Attentiona，具体为： 其中，dk用以对Q*KT乘积结果进行归一化； S6.引入模态间交互注意力机制，比较所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa之间的相似性来增强模态间的交互，具体为： S7.将所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa的两种模态的特征加权融合，得到最终的多模态融合特征F，具体为： F＝αFv+1-αFa 其中，α是超参数； S8.将所述多模态融合特征F输入由批量归一化层、全连接层、激活函数和输出层构成的多层全连接神经网络D得到降维后的多模态融合特征F’，具体为： F'＝W*F+b 其中，W是权重，F是所述多模态融合特征，b是偏差； S9.将所述降维后的多模态融合特征F’输入分类器得到分类结果得到所述待检测视频分别为真实类别和伪造类别的概率，通过比较所述待检测视频真实类别和伪造类别的概率值，判定所述待检测视频是否为伪造视频，具体为： S10.当所述待检测视频分别为伪造类别的概率大于真实类别的概率时，判断所述待检测视频为伪造视频；否则，判断所述待检测视频为伪造视频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥高维数据技术有限公司，其通讯地址为：230088 安徽省合肥市高新区望江西路900号中安创谷科技园一期A1栋21楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。