买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利一种位置注意力知识嵌入网络的图文匹配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116821302B 。

龙图腾网通过国家知识产权局官网在2026-03-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310804066.5，技术领域涉及：G06F16/332；该发明授权一种位置注意力知识嵌入网络的图文匹配方法是由徐国庆;胡敏;王晓华;高东溟;季明皓设计研发完成，并于2023-07-03向国家知识产权局提交的专利申请。

本一种位置注意力知识嵌入网络的图文匹配方法在说明书摘要公布了：本发明公开了一种位置注意力知识嵌入网络的图文匹配方法，包括：1、通过基于FastR‑CNN模型的图像位置特征提取网络得到图像特征表示；2、通过基于BERT模型的文本特征提取网络获得具有上下文信息的文本特征表示；3、构建基于图卷积神经网络的知识特征提取网络提取共识知识特征表示；4、通过特征融合网络得到图像知识特征以及文本知识特征；5、通过双向的三元组排序损失函数约束正样本与负样本之间的特征距离，以此训练得到最优匹配模型。本发明通过位置特征注意力模块以及BERT预训练模型分别得到包含位置信息的图像特征和包含上下文信息的文本特征，大大提高了共识知识的利用效率，从而大大提高了图文匹配的准确率。

本发明授权一种位置注意力知识嵌入网络的图文匹配方法在权利要求书中公布了：1.一种位置注意力知识嵌入网络的图文匹配方法，其特征在于，包括如下步骤： 步骤1、搭建基于FastR-CNN模型的图像位置特征提取网络，包括：图像特征提取模块、位置特征提取模块和自注意力处理模块； 步骤1.1、所述图像特征提取模块获取图像数据集及其对应的文本数据集，并使用FastR-CNN模型对其中任意一张图像pic进行特征提取，获得图像pic的一组特征，表示图像pic的第i个特征，；d表示特征的维度，q表示特征的总数；； 步骤1.2、所述位置特征提取模块先使用FastR-CNN模型对所述图像数据集中任意一张图像pic进行处理，获得个对象框； 然后将图像pic等分成K×K个块，每个块的位置由索引[1,]表示，将分割后的个块作为位置词汇表B，并用独热向量表示任意第e个块，B； 计算第个对象框和第个块之间的相交像素数，并按照相交像素数对位置词汇表B进行降序排列，选择排名最高的L个块，用于计算的位置表示；从而得到所述位置特征提取模块对图像pic提取的一组位置特征，表示图像pic的第i个位置特征，；表示位置特征的维度； 步骤1.3、将图像pic的特征V和位置特征P拼接在一起，得到具有位置信息的区域级图像特征集，表示第i个区域级图像特征，，； 步骤1.4、自注意力处理模块将区域级图像特征作为注意力机制中的键K和值V，将全局图像特征=作为注意力机制中查询Q，从而通过自注意力运算将区域级图像特征集合并为单个图像特征； 步骤2、搭建基于BERT模型的文本特征提取网络，包括：文本特征提取模块和文本自注意力处理模块； 步骤2.1、所述文本特征提取模块使用BERT模型对图像pic对应的文本进行单词级特征提取，获得一组单词级特征，表示第j个单词级特征，，表示单词级特征的总数，； 步骤2.2、所述文本自注意力处理模块将单词级特征作为注意力机制中的键K和值V，将全局单词级特征=作为注意力机制中的查询Q，从而通过自注意力运算将单词级特征T合并为单个句子级特征； 步骤3、搭建基于图卷积神经网络的知识特征提取网络，包括：知识概念提取模块、概念关联图构建模块、知识特征表示模块； 步骤3.1、所述知识概念提取模块从所述文本数据集所对应的图像字幕语料库中提取知识概念，并使用Glove方法向量化所有知识概念，并得到实例化的概念表示，表示第k个概念表示，表示概念表示的总数，，； 步骤3.2、所述概念关联图构建模块通过式1构建概念关联图： 1 式1中，是第α个概念表示和第β个概念表示在一个文本同时出现的次数，G=1表示和的共现，G=0表示和的缺失，表示出现次数的阈值；，； 步骤3.3、所述知识特征表示模块使用图卷积神经网络对所述概念表示C和概念相关图G进行概念表示的学习，从而获得知识特征表示，表示第k个知识特征，，； 步骤4、搭建特征融合网络，包括：图像特征融合模块、文本特征融合模块和图文融合模块； 步骤4.1、所述图像特征融合模块通过式2得到图像知识特征： 2 式2中，表示第k个知识特征的重要性得分，并由式3得到； 3 式3中，是待学习的参数矩阵，表示第k个知识特征的转置，控制softmax函数的平滑度； 步骤4.2、所述文本特征融合模块通过式4得到文本知识特征： 4 式4中，表示第k个知识特征的重要性得分，并由式5得到； 5 式5中，是待学习的参数矩阵； 步骤4.3、所述图文融合模块分别通过式6将图像特征与图像知识特征相结合，以得到综合表征图像信息；通过式7将句子级特征与文本知识特征相结合，以得到综合表征文本信息； 6 7 式6和式7中，是确定两种类型的特征之间的相对比例的参数； 步骤5、构建由图像位置特征提取网络、文本特征提取网络、知识特征提取网络、特征融合网络构成的图文匹配网络，并建立损失函数用于训练网络： 步骤5.1、利用式8分别构建图文融合的损失函数、图文知识的损失函数和图文特征的损失函数； 8 式8中，表示、、中任意一组匹配的图像-文本对；是预定义的裕度参数，是余弦距离函数；和表示、、中任意一组不匹配的图像-文本对； 步骤5.2、利用式9构建网络的总损失函数L； 9 步骤5.3、将图像数据集及其对应的文本数据集输入所述图文匹配网络中，并通过Adam优化器不断优化总损失函数L，以调整网络参数，从而得到最优的图像文本匹配网络，用于对图像和文本进行匹配。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。