买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉延边大学申请的专利基于跨模态对齐与融合的多模态实体和关系抽取方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120146051B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510210311.9，技术领域涉及：G06F40/295；该发明授权基于跨模态对齐与融合的多模态实体和关系抽取方法及系统是由赵亚慧;郑金康;金国哲;金哲俊;尹飞;张振国;崔荣一;任一平;杜美豫;张博伦;彭宇翔;王明皓;谷会敏;胡勤龙设计研发完成，并于2025-02-25向国家知识产权局提交的专利申请。

本基于跨模态对齐与融合的多模态实体和关系抽取方法及系统在说明书摘要公布了：本发明公开了基于跨模态对齐与融合的多模态实体和关系抽取方法及系统，包括：对输入文本和图像进行处理和编码，获得多种图像和文本特征；以图像的语义表示为锚点，分别对细粒度和粗粒度的文本特征与像素级图像表示进行特征对齐，将图像和文本特征映射到同一语义空间；通过文本引导动态门控聚合、视觉前缀跨模态融合、跨模态图文匹配，进行多粒度特征融合，增加特征互补性的同时建模文本中名词短语与图像对象的关联，获得多粒度的多模态特征表示；通过实体引导注意力门控融合多粒度的多模态特征，聚集文本实体相关的视觉信息，获得最终的多模态融合表示；根据多模态融合表示，分别进行多模态命名实体识别和多模态关系抽取的任务预测。

本发明授权基于跨模态对齐与融合的多模态实体和关系抽取方法及系统在权利要求书中公布了：1.基于跨模态对齐与融合的多模态实体和关系抽取方法，其特征在于，所述方法包括： 步骤一：对输入文本和图像进行处理和编码，获得多种图像和文本特征；其中，多种图像和文本特征包括：细粒度文本特征、粗粒度文本特征、细粒度像素级图像表示、粗粒度像素级图像表示、细粒度语义级图像表示以及粗粒度语义级图像表示； 步骤二：将图像的语义表示作为图像和文本特征对齐的锚点，分别进行细粒度文本特征和细粒度像素级图像表示，以及粗粒度文本特征和粗粒度像素级图像表示的特征对齐，将图像和文本特征映射到同一语义空间； 步骤三：通过文本引导动态门控聚合、视觉前缀跨模态融合、跨模态图文匹配，进行多粒度特征融合，增加特征互补性的同时建模文本中名词短语与图像对象的关联，获得细粒度和粗粒度的多模态特征表示； 步骤四：将获得的多粒度的多模态特征表示输入到实体引导注意力门控模块，聚集文本实体相关的视觉信息，获得最终的多模态融合表示； 步骤五：将获得的多模态融合表示输入到任务特定解码器，分别进行多模态命名实体识别和多模态关系抽取的任务预测； 所述步骤三中，通过文本引导动态门控聚合、视觉前缀跨模态融合、跨模态图文匹配，进行多粒度特征融合，获得细粒度和粗粒度的多模态特征表示包括： 将特征对齐之后的粗粒度和细粒度的文本表示,图像像素表示以及图像语义表示分别进行处理；包括： 将细粒度的文本表示以及图像表示和进行基于视觉前缀transformer块的细粒 度特征融合； 进行文本引导的动态门控聚合，获取文本在特定层次上的互补图像特征；动态门控信号表示从图像编码器获得的第k层视觉特征到第l个细粒度视觉前缀transformer块的概率： 其中，k和l分别表示图像编码器和视觉前缀transformer块的层次索引，K表示图像编 码器的最大层数，表示第k层视觉特征与细粒度文本特征的融合表示，为可学习的 权重参数，为第l层的动态门控信号，表示前一层视觉前缀transformer输出的全 局文本特征的表示，表示第k层细粒度像素级视觉特征，表示级联操作； 利用每层的门信号得到最终聚合的细粒度层次化视觉特征； 将聚合的细粒度层次化视觉特征，投影到视觉key向量和视觉value向量中，其中是视觉注意力映射参数，将第l-1层的细粒度文本特 征编码表示投影到交叉注意力文本query向量、key向量和value向量中，；进行视觉前缀跨模 态融合，其中分别是注意力映射参数；通过视觉前缀注意计算第l层的隐含 特征，逐层迭代更新，最后一层的隐藏特征 即为跨模态细粒度文本特征编码表示； 基于语义锚点对比学习得到的相似度矩阵，进行跨模态图文匹配； 将矩阵对角线元素置为0，避免与正样本比较；然后，根据相似度分布从同一批次中采样负文本和负图像，基于其与目标图像或文本相似度赋予采样概率； 使用视觉前缀transformer块的最后一层输出嵌入[CLS]token作为图像-文本对的融 合表示，预测图像和文本匹配的概率，得到图文匹配损失，其中是表示真值标签的二维one-hot向量； 分别进行文本表示与配对的图像表示和的匹配概率预测，利用该模块输出的匹 配概率，得到细粒度多模态特征:；其中，L 表示细粒度视觉前缀transformer块的最大层数，和表示图像和文本匹配的概 率，分别用于确定保留的细粒度文本特征和细粒度像素级视觉特征融合后的细粒度多模态 特征和细粒度文本特征和细粒度语义表示融合后的细粒度多模态特征的比 例； 进行细粒度的文本表示以及图像表示和的粗粒度特征融合，获得粗粒度的多模 态特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人延边大学，其通讯地址为：133002 吉林省延边朝鲜族自治州延吉市公园路977号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。