买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东财经大学申请的专利基于上下文引导多模态关联的图像文本检索方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116737979B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310728307.2，技术领域涉及：G06F16/583；该发明授权基于上下文引导多模态关联的图像文本检索方法及系统是由刘峥;裴新蕾;高珊珊;迟静;王靖瑶;李常浩;徐君豪设计研发完成，并于2023-06-19向国家知识产权局提交的专利申请。

本基于上下文引导多模态关联的图像文本检索方法及系统在说明书摘要公布了：本公开提供了基于上下文引导多模态关联的图像文本检索方法及系统，涉及跨模态图文互检索技术领域，方法包括获取不同模态图像和文本数据的细粒度特征序列；构建上下文引导多模态关联学习网络，分别获取图像模态的区域空间性增强的视觉上下文感知表示和文本模态的单词时序性增强的文本上下文感知表示；构建上下文引导多模态关联三分支，对不同语义层面的上下文感知表示进行跨模态相似度学习，利用向量型相似函数学习跨模态关联，设计目标函数，基于联合学习语义一致性损失函数和跨模态匹配损失函数分别实现模态内不同语义层面的互补和不同模态数据之间的语义精准对齐；本公开能够实现不同模态之间的精准对齐。

本发明授权基于上下文引导多模态关联的图像文本检索方法及系统在权利要求书中公布了：1.基于上下文引导多模态关联的图像文本检索方法，其特征在于，包括： 获取不同模态的图像和文本数据，分别提取不同模态的图像和文本数据的细粒度特征序列；构建上下文引导多模态关联学习网络框架，利用不同模态的细粒度特征序列，基于自注意力机制和门控机制捕捉模态内部的互补语义关系，分别获取图像模态的区域空间性增强的视觉上下文感知表示和文本模态的序列性增强的文本上下文感知表示； 所述上下文引导的多模态关联学习网络框架包括上下文引导机制、多模态关联学习、混合损失函数优化； 所述上下文指导机制包括上下文感知单元，所述上下文感知单元集成自注意力机制和门控机制； 在所述上下文引导多模态关联学习网络框架中设计全局模态间关联挖掘分支、局部模态间关联挖掘分支，以及局部模态内关联挖掘分支；在全局模态间关联挖掘分支中，对图像和文本的全局层面特征向量进行跨模态相似度学习；在局部模态间关联挖掘分支中，利用交叉注意机制充分捕捉图像区域和文本单词之间的多模态相关性，在局部层面学习图像和文本之间的相似度；在局部模态内关联挖掘分支中，构建图模型以及采用图卷积网络在图中的节点之间传递和更新信息，使用GRU网络模型来整合和推理不同模态之间的关系； 利用三组参数共享的多层感知机将全局模态间关联挖掘分支、局部模态间关联挖掘分支以及局部模态内关联挖掘分支中学习到的跨模态相似度进行优化； 在混合损失函数中提出跨模态一致性项以及跨模态对齐项实现不同模态之间的有效对齐。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东财经大学，其通讯地址为：250014 山东省济南市历下区二环东路7366号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。