买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网浙江省电力有限公司杭州市富阳区供电公司;国网浙江省电力有限公司杭州供电公司申请的专利一种基于图文交互的多模态数据融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115659279B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211392871.3，技术领域涉及：G06F18/25；该发明授权一种基于图文交互的多模态数据融合方法是由赵宗罗;赵志新;许毅;李强强;蒋良;罗良;周波;王立森;吕捷;帅万高;孙潇哲设计研发完成，并于2022-11-08向国家知识产权局提交的专利申请。

本一种基于图文交互的多模态数据融合方法在说明书摘要公布了：本发明公开了一种基于图文交互的多模态数据融合方法，包括如下步骤：S1、获取多模态数据，所述多模态数据包括巡检图像数据和设备状态数据；S2、通过卷积神经网络获取巡检图像的图像特征图；S3、通过文本抽取器对设备状态数据进行预处理得到文本特征图；S4、构建多头注意力模块获取文本注意力权重和图像注意力权重；S5、基于文本注意力权重和图像注意力权重获取图像文本混合特征；S6、通过多头交叉注意力模块获取训练数据和目标的双向交互式信息；S7、通过特征图混合模块得到混合特征图信息并输出预测结果。方案通过对多模态特征进行融合学习和分析，提高了识别精度。

本发明授权一种基于图文交互的多模态数据融合方法在权利要求书中公布了：1.一种基于图文交互的多模态数据融合方法，其特征在于，包括如下步骤： S1、获取多模态数据，所述多模态数据包括巡检图像数据和设备状态数据； S2、通过卷积神经网络获取巡检图像数据的图像特征图； S3、通过文本抽取器对设备状态数据进行预处理得到文本特征图； S4、构建多头注意力模块获取文本特征图对应的文本注意力权重和图像特征图对应的图像注意力权重； S5、基于文本注意力权重和图像注意力权重获取图像文本混合特征； S6、通过多头交叉注意力模块获取训练数据和目标数据的双向交互式信息； S7、通过特征图混合模块对双向交互式信息进行处理得到混合特征图信息并输出预测结果； 步骤S5包括： S51、巡检图像数据依次通过卷积神经网路和多头注意力模块得到图像模态注意力权重特征图； S52、设备状态数据对应的文本数据依次通过文本抽取器和多头注意力模块得到文本模态注意力权重特征图； S53、图像模态注意力权重特征图和文本模态注意力权重特征图进行融合得到图像文本混合特征； S6中，包括如下步骤： 在N层解码器里，训练数据通过来自目标数据的多头交叉注意力模块的特征信息不断更新特征序列； 同步的，目标数据也在通过来自训练数据的多头交叉注意力模块的特征信息不断更新特征序列； 目标数据的特征信息被转换成不同的KeysValues与训练数据的Queries相互作用，以此获取表征双向交互效果的双向交互式信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网浙江省电力有限公司杭州市富阳区供电公司;国网浙江省电力有限公司杭州供电公司，其通讯地址为：311400 浙江省杭州市富阳区鹿山街道江波街218号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。