中国科学院新疆理化技术研究所马博获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学院新疆理化技术研究所申请的专利基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119598035B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411699621.3,技术领域涉及:G06F16/9536;该发明授权基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质是由马博;地力夏提·阿布都热依木;杨雅婷;吐尔洪·吾司曼;董瑞;王磊;周喜设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质在说明书摘要公布了:本发明提出了基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质。该方法首先对多模态数据进行精细化预处理,包括文本数据的去噪、去停用词和标准化,以及图像数据的分辨率过滤、去重和尺寸统一化处理。随后,利用参数冻结的RoBERTa模型从文本中提取词元级和句子级特征向量,同时采用VIT模型从图像中获取图像级和词元级特征表示。通过Relu激活函数和全连接层对特征进行降维映射,实现特征空间的统一表达。创新性地构建了双向特征融合网络,实现文本‑视觉特征的深度交互与融合,生成具有强表达能力的多模态特征。本发明充分利用了单模态信息的独特优势,通过深度特征融合挖掘了模态间的互补性,为多模态虚假信息检测提供了一种高效稳健的解决方案。
本发明授权基于双向特征融合与混合决策机制的多模态虚假信息检测方法、装置、设备及存储介质在权利要求书中公布了:1.一种基于双向特征融合与混合决策机制的多模态虚假信息检测方法,其特征在于,按下列步骤进行: a、获取包含文本和图像的多模态虚假信息数据集,对所述数据集中的文本进行去噪、去停用词和标准化预处理,对图像数据进行分辨率过滤、去重和标准化预处理; b、将步骤a预处理后的文本数据输入预设的RoBERTa预训练模型,所述RoBERTa预训练模型的参数被冻结,以获取文本词元级别特征向量和文本句子级别特征向量,文本句子级别特征向量通过对所有词元向量进行池化操作获得; c、将预处理后的步骤a中图像数据通过Normalize方法进行归一化处理并转换为张量格式,将所述张量输入预设的VIT预训练模型,所述VIT预训练模型的参数被冻结,获取图像级别特征向量和图像词元级别特征向量; d、将步骤b中的文本词元级别特征向量和文本句子级别特征向量,步骤c中的图像词元级别特征向量和图像级别特征向量依次通过Relu激活函数和全连接层进行降维处理,对于图像词元级别和文本词元级别的特征向量,将对每个词元的特征向量分别进行降维,得到P维的图像词元级别表示和文本词元级别表示,对于文本句子级别和图像级别的特征向量,直接进行降维,得到P维的句子级别表示和图像级别表示; e、构建双向特征融合网络,将步骤d中文本词元级别特征向量和图像词元级别特征向量输入双向特征融合网络,得到融合后的多模态特征向量; f、构建文本、图像和多模态虚假信息分类器,将步骤d得到的文本句子级别的特征向量、图像级别的特征向量和步骤e得到的多模态特征向量分别对应输入构建的文本虚假信息检测器、图像虚假信息检测器和多模态虚假信息检测器; g、设计基于混合决策机制的多模态虚假信息检测算法,所述算法包括:通过加权融合方法结合多个分类器的输出,并融入加权投票和基于信息熵的选择策略,进行最终的决策输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院新疆理化技术研究所,其通讯地址为:830011 新疆维吾尔自治区乌鲁木齐市北京南路40号附1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。