买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网天津市电力公司信息通信公司;国网天津市电力公司;国家电网有限公司申请的专利基于多模态融合的审计信息提取方法、装置和电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121392874B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511938642.0，技术领域涉及：G06V30/41；该发明授权基于多模态融合的审计信息提取方法、装置和电子设备是由孟亚敏;李荣静;贾晓亮;孙常鹏;李森;崔霞;冯伟;陈艳龙;田黇;赵猛;张鑫设计研发完成，并于2025-12-22向国家知识产权局提交的专利申请。

本基于多模态融合的审计信息提取方法、装置和电子设备在说明书摘要公布了：本发明提供了一种基于多模态融合的审计信息提取方法、装置和电子设备，可以应用于文档处理技术领域。该方法包括：响应于接收到针对审计信息的提取请求，获取待查询字段；根据审计信息中数据的模态类型，调用与模态类型对应的编码器对审计信息进行编码，生成至少两个模态的特征向量；以待查询字段编码得到的向量为初始查询向量，调用层叠的交叉注意力模块，分别与至少两个模态的特征向量进行交互融合，以实现模态间和模态内的特征交互与对齐，输出与待查询字段相匹配的目标模态特征向量；对目标模态特征向量进行解码，从审计信息中提取与待查询字段相匹配的目标字段。

本发明授权基于多模态融合的审计信息提取方法、装置和电子设备在权利要求书中公布了：1.一种基于多模态融合的审计信息提取方法，其特征在于，包括： 响应于接收到针对审计信息的提取请求，获取待查询字段；其中，所述审计信息包括以下至少两个模态的数据：文本、图像和表格； 根据审计信息中数据的模态类型，调用与所述模态类型对应的编码器对审计信息进行编码，生成至少两个模态的特征向量；其中，所述特征向量包括以下至少两项：文本特征向量、图像特征向量和表格特征向量；所述表格特征向量用于表征表格的绝对位置特征和表格中各单元格相对于表格的相对位置特征； 以所述待查询字段编码得到的向量为初始查询向量，调用层叠的交叉注意力模块，分别与所述至少两个模态的特征向量进行交互融合，以实现模态间和模态内的特征交互与对齐，输出与所述待查询字段相匹配的目标模态特征向量；以及 对所述目标模态特征向量进行解码，从所述审计信息中提取与所述待查询字段相匹配的目标字段； 其中，所述交叉注意力模块包括M层，M为大于1的整数； 所述以所述待查询字段编码得到的向量为初始查询向量，调用层叠的交叉注意力模块，分别与所述至少两个模态的特征向量进行交互融合，以实现模态间和模态内的特征交互与对齐，输出与所述待查询字段相匹配的目标模态特征向量，包括： 将所述至少两个模态的特征向量分别进行线性映射，得到与至少两个模态的特征向量各自对应的第一模态的键值对和第二模态的键值对； 将第m-1层输出的融合特征向量作为查询向量，分别与所述第一模态的键值对和所述第二模态的键值对进行点积注意力计算，实现模态内的交互与对齐，生成第一模态的聚合特征和第二模态的聚合特征；其中，所述第m-1层输出的融合特征向量是前m-1层对所述初始查询向量进行处理得到的；所述第m-1层输出的融合特征向量聚合了所述审计信息中各模态的局部特征；m大于1且小于等于M； 将所述第一模态的聚合特征和所述第二模态的聚合特征进行加权融合，实现模态间的交互与对齐，生成第m层输出的融合特征向量； 响应于确定m小于M，返回针对所述第m层输出的融合特征向量执行点积注意力计算和加权融合操作，并递增m；以及 响应于确定m等于M，通过所述待查询字段在不同尺度上与所述至少两个模态的特征向量反复进行交互，生成所述目标模态特征向量；其中，所述目标模态特征向量融合了审计信息中的局部特征和全局语义特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网天津市电力公司信息通信公司;国网天津市电力公司;国家电网有限公司，其通讯地址为：300140 天津市河北区昆纬路153号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。