买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏华真信息技术有限公司申请的专利基于跨模态语义与混合反事实训练的检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117235114B 。

龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311224075.3，技术领域涉及：G06F16/2453；该发明授权基于跨模态语义与混合反事实训练的检索方法是由曾地荣;吴伟华;叶桔设计研发完成，并于2023-09-20向国家知识产权局提交的专利申请。

本基于跨模态语义与混合反事实训练的检索方法在说明书摘要公布了：本发明公开了一种基于跨模态语义与混合反事实训练的检索方法，包括以下步骤：A、获取参考图像IR、目标图像IT和查询文本TQ的特征表示；B、建立跨模态表征修改模块和表征吸收合成模块，在三级级联推理中对视觉语言表征进行建模；C、构建混合反事实样本；D、对全局‑局部组合进行建模，捕获不同尺度、不同模态的局部‑全局信息；从自下而上的分层组合中推导出的最终复合表示，捕获参考图像中的隐式视觉修改和保存；E、学习匹配对多种模态的组合检索，再加入θ参数化激励，最后学习的图像文本复合表示与目标真值图像的视觉表示唯一对齐，F、使用损失函数对检索结果进行评判。本发明能够改进现有技术的不足，提高图像检索准确度。

本发明授权基于跨模态语义与混合反事实训练的检索方法在权利要求书中公布了：1.一种基于跨模态语义与混合反事实训练的内容-图像检索方法，其特征在于包括以下步骤： A、建立多颗粒的视觉表示模块和全局-局部文本嵌入模块，用于获取参考图像IR、目标图像IT和不同层次的查询文本TQ的特征表示； B、建立跨模态表征修改模块和表征吸收合成模块，构成自下向上的跨模态语义合成模块，在三级级联推理中对视觉语言表征进行建模；跨模态表征修改模块由一个自注意层、一个双向交叉注意层和一个软注意层组成；表征吸收合成模块包含一个自注意力层和一个残差注意层，按层次顺序构建； C、构建混合反事实样本，包括以下步骤， C1、构建图像无关和文本无关的反事实样本； 给出参考图像和对应的查询文本利用BERT作为预训练的双向语言模型，根据语言相似度找到相关度最小的文本及其对应的图像，因此这些文本和图像将原始参考图像和查询文本结合起来构成图像无关和文本无关的反事实样本； C2、构建文本保留反事实样本； 首先根据先验的已知属性屏蔽查询词汇的属性词，生成初步候选词，并用随机词替换，获得个样本，然后将原始的输入点BERT中计算语义相似度，最后选择具有参考图像的最顶端文本作为上下文保留查询，如下式所示， 其中，表示选择的上下文保持负样本，表示度量BERT的概率，表示第二阶段所选的数字； D、建立局部特征模块、全局-局部特征吸收模块和全局语义模块；利用表征吸收合成模块，对全局-局部组合进行建模，使设计的基于变换器的修改和吸收块能够从底层的局部特征到顶层的全局语义跨层捕获不同尺度、不同模态的局部-全局信息；从自下而上的分层组合中推导出的最终复合表示，根据文本修饰符的不同，捕获参考图像中的隐式视觉修改和保存； E、学习匹配对多种模态的组合检索，再加入参数化激励，最后学习的图像文本复合表示与目标真值图像的视觉表示唯一对齐，如下式所示， 其中，表示参数化激励，表示求相似度求解，和分别为合成编码器和图像编码器； F、使用损失函数对检索结果进行评判。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏华真信息技术有限公司，其通讯地址为：214000 江苏省无锡市经济开发区金融八街8号联合金融大厦第17层第1704、1705号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。