中国人民解放军国防科技大学郭金林获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国人民解放军国防科技大学申请的专利基于多模态信息融合的视频检测方法、装置和计算机设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116524404B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310484815.0,技术领域涉及:G06V20/40;该发明授权基于多模态信息融合的视频检测方法、装置和计算机设备是由郭金林;赵研承;谢毓湘设计研发完成,并于2023-04-28向国家知识产权局提交的专利申请。
本基于多模态信息融合的视频检测方法、装置和计算机设备在说明书摘要公布了:本申请涉及一种多模态信息融合的视频检测方法、装置和计算机设备,将视频中出现的场景、公众人物、地点、实体和关键词等重要信息识别出来组成视觉文本,以及提取视觉文本特征、视频文本特征以及视觉特征、音频特征,然后先融合视觉文本特征和视频文本特征,得到新的文本特征,以此加强文本信息,同时初步实现视觉信息和文本信息的跨模态融合,接着融合该新的文本特征、以及提取的视觉特征和频特征,进一步实现视觉、音频和文本信息的跨模态融合。综上,采用本方案中的递进跨模态信息融合的视频检测方法,能够充分利用模态之间的相关性,并且充分利用多个模态信息,能够提高对虚假视频的检测精度。
本发明授权基于多模态信息融合的视频检测方法、装置和计算机设备在权利要求书中公布了:1.一种基于多模态信息融合的视频检测方法,其特征在于,所述方法包括: 获取待检测视频;所述待检测视频中包括视觉信息、文本信息和音频信息; 识别所述视觉信息中的场景、人物、地点、实体和关键词并组成视觉文本; 通过预训练的特征提取模型提取所述视觉信息中的视觉特征和视觉文本特征、所述文本信息中的视频文本特征、以及所述音频信息中的音频特征; 融合所述视觉文本特征和所述视频文本特征,得到融合文本特征; 融合所述视觉特征、所述音频特征和所述融合文本特征得到多模态融合特征; 根据所述多模态融合特征对所述待检测视频进行真假判断; 其中,融合所述视觉文本特征和所述视频文本特征,得到融合文本特征,包括: 通过交叉注意力机制来融合视频文本特征和视觉文本特征的语义信息,得到交叉视频文本特征和交叉视觉文本特征; 拼接交叉视频文本特征和交叉视觉文本特征,得到融合文本特征: 其中,表示交叉视频文本特征,表示交叉视觉文本特征,表示将特征矩阵横向拼接; 其中,融合所述视觉特征、所述音频特征和所述融合文本特征得到多模态融合特征,包括: 连接所述视觉特征、所述音频特征和所述融合文本特征,得到特征序列; 将所述特征序列输入transformer模型的编码器得到融合多模态信息的多模态融合特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国人民解放军国防科技大学,其通讯地址为:410073 湖南省长沙市开福区德雅路109号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励