买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利基于实体语义引导与关系融合的无配对跨模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119577204B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411677945.7，技术领域涉及：G06F16/903；该发明授权基于实体语义引导与关系融合的无配对跨模态检索方法是由沃焱;梁展扬设计研发完成，并于2024-11-22向国家知识产权局提交的专利申请。

本基于实体语义引导与关系融合的无配对跨模态检索方法在说明书摘要公布了：本发明公开了一种基于实体语义引导与关系融合的无配对跨模态检索方法，包括：从实体数据集中提取实体图像特征与实体文本特征；基于实体图像特征与实体文本特征，通过负样本选择以及模态内邻居关系约束获得实体公共语义空间；基于实体公共语义空间，通过伪配对生成与筛选方法获得高置信图文伪配对集；基于高置信图文伪配对集，通过关系融合模块捕获关系信息并对齐，获得融合公共语义空间；基于融合公共语义空间计算图文之间的相似性，依据相似性进行排序并输出跨模态检索结果。本发明与其它无配对跨模态检索方法相比，性能明显提高，学习得到的空间能够从更深层次对数据进行准确表达，整体方法可解释性更优。

本发明授权基于实体语义引导与关系融合的无配对跨模态检索方法在权利要求书中公布了：1.基于实体语义引导与关系融合的无配对跨模态检索方法，其特征在于，包括以下步骤： 1从实体数据集中提取实体图像特征与实体文本特征； 2基于实体图像特征与实体文本特征，计算特征之间的距离，根据距离关系为每个特征挑选正确的负样本，通过嵌入空间对齐的方法以及模态内邻居关系约束，使得负样本远离特征，获得实体公共语义空间；其中，所述模态内邻居关系约束首先在单模态空间中计算特征的邻居，然后约束对齐前后邻居之间的距离关系变化最小化，从而避免对齐过程对单模态邻居结构的破坏； 3基于实体公共语义空间，通过伪配对生成方法从无配对图文数据集中构造伪配对，针对伪配对通过伪配对筛选方法获得高置信图文伪配对集；其中，所述无配对图文数据集是任务所给定的缺乏配对信息标注的数据集，所述伪配对生成方法是根据图片与文本在实体公共语义空间中的相似性排序选取最高相似性的样本构造伪配对，所述伪配对筛选方法是根据图片与文本在实体公共语义空间中的相似性排序采样最高相似性与次高相似性的差值，将该差值称为优势分数，作为衡量伪配对可靠程度的指标，并通过双分量高斯混合模型对优势分数拟合，基于期望最大化算法优化得到概率密度函数，由概率密度函数计算和筛选伪配对获得高置信图文伪配对集； 4基于高置信图文伪配对集，通过实体识别网络FasterR-CNN将高置信图文伪配对集中的图像分割为多个实体图像，通过逐词分割法将高置信图文伪配对集中的文本分割为多个实体文本，然后通过关系融合模块提取实体图像与实体文本之间包含了信息关系的融合特征，并对齐融合特征获得融合公共语义空间；其中，所述关系融合模块是基于相似性加权的特征融合方法，首先通过实体图像与实体文本之间的相似性计算权重，然后根据权重交互实体之间的信息； 5将跨模态数据嵌入到融合公共语义空间计算跨模态相似性，即基于融合公共语义空间计算图文之间的相似性，依据相似性进行排序，选取排名前n的实例作为最终的跨模态检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。