买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津理工大学申请的专利一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114969423B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210718696.6，技术领域涉及：G06F16/583；该发明授权一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备是由孟铃涛;张飞飞;徐常胜设计研发完成，并于2022-06-23向国家知识产权局提交的专利申请。

本一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备在说明书摘要公布了：本发明公开了一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备，首先使用预训练的FasterR‑CNN和预训练的Bert提取图像中的区域特征与文本的单词级特征。然后定义一组图像文本共享的可训练的语义中心，计算每一个局部特征和语义中心的相似度，根据相似度将局部特征分配到多个语义中心，得到多个语义对齐的图像表示和文本表示。使用bi‑GRU对图像的区域特征权重和文本的单词特征权重进行多层级建模，求出整合局部特征的多层全局表示。通过语义对齐的图像表示和文本表示计算图像和文本的局部相似度，通过图像和文本的多层全局表示计算图像和文本的全局相似度。本发明能够有效提高图像文本跨模态检索的准确率。

本发明授权一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备在权利要求书中公布了：1.一种基于局部共享语义中心的图像文本跨模态检索模型的构建方法，其特征在于，该方法包括如下步骤：S1，分别提取图像的区域特征和文本的单词级特征，然后经过两层独立映射分别得到用于局部对齐和全局对齐的图像特征和文本特征；S2，对S1中的图像特征和文本的特征进行聚类，得到k个初始化的共享语义中心；S3，获得图像文本对齐语义表示：计算S1中图像文本特征和步骤S2中共享语义中心的相似度，利用该相似度将图像特征聚合为k个对应共享语义中心的图像对齐语义表示，即为图像上下文特征，将文本特征聚合为k个对应共享语义中心的文本对齐语义表示，即为文本上下文特征；S4，对步骤1中图像的区域特征和文本单词级特征的池化操作进行建模，得到图像全局表示和文本全局表示；S5，利用步骤S3中具有相同共享语义中心的图像语义表示和文本语义表示计算图像文本的局部相似度，利用步骤S4中图像全局表示和文本全局表示计算图像文本的全局相似度，图像和文本的整体相似度用局部相似度和全局相似度的加权和表示，完成建模；所述S1的具体实现包括：S1.1图像的特征提取给定图像I，使用预训练的FasterR-CNN检测图像中的区域ri，并且提取每个区域ri的特征fi，然后使用两个独立的多层感知机将图像的区域特征fi分别映射得到和 式12中，MLPVl、MLPVg表示两个独立的多层感知机，分别得到用于局部对齐和全局对齐的图像特征，表示为和S1.2文本的特征提取给定文本S，首先使用分词工具将文本分为多个独立的单词，并且用0将单词填充到固定长度，将长度固定的单词序列输入到预训练的Bert得到单词级的文本特征，然后使用两个独立的多层感知机将文本的单词级特征fi分别映射得到和zi＝Bertsi3 式3中，Bert表示预训练的Bert网络，si表示原始的输入文本，zi表示由Bert提取的文本单词级特征，式45中，MLPTl、MLPTg表示两个独立的多层感知机，分别得到用于局部对齐和全局对齐的文本特征表示为和所述S2的具体实现包括：S2.1在训练数据集中对用于局部对齐的图像特征Vl和用于局部对齐的文本特征Tl进行随机采样，得到若干个未经训练的图像特征和文本特征，S2.2对随机采样的图像特征和文本特征进行K-means聚类，得到k个初始化的聚类中心k＜＜n且k＜＜n，S2.3将初始化的聚类中心C定义为可训练的共享语义中心，共享语义中心的参数随网络训练而更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津理工大学，其通讯地址为：300384 天津市西青区宾水西道391号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。