买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国电子科技集团公司第五十四研究所;桂林电子科技大学申请的专利语义细分及模态对齐推理学习跨模态检索方法及检索系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116610831B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310684445.5，技术领域涉及：G06F16/583；该发明授权语义细分及模态对齐推理学习跨模态检索方法及检索系统是由李宝莲;李培瑶;孙苹苹;朱良彬;韩博;谢海瑶;强保华;李忠涛;赵建设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本语义细分及模态对齐推理学习跨模态检索方法及检索系统在说明书摘要公布了：本发明提供了一种语义细分及模态对齐推理学习跨模态检索方法、检索系统，本发明的语义细分及模态对齐推理学习跨模态检索方法包括如下步骤：将预训练后得到的原始模态特征基于缩放点积注意力进行模态对齐，以实现为原始特征重新聚合投影模态对齐特征；将上述步骤形成的所述模态对齐数据通过权重共享的多层感知机后，再采用语义近似匹配与正确匹配的方法实现对于相同类别标签簇的语义正确匹配与近似匹配挖掘；采用Arc4cmr损失函数、相互监督对比损失函数、图文特征相似度矩阵和相似标签矩阵间的对比损失函数进行模型约束。本发明的跨模态检索方法进一步提升了跨模态检索的准确性。

本发明授权语义细分及模态对齐推理学习跨模态检索方法及检索系统在权利要求书中公布了：1.一种语义细分及模态对齐推理学习的跨模态检索方法，其特征在于，包括如下步骤： 将预训练后得到的原始模态特征基于缩放点积注意力进行模态对齐，以实现为原始特征重新聚合投影模态对齐特征； 将上述步骤形成的所述模态对齐数据通过权重共享的多层感知机后，再采用语义近似匹配与正确匹配的方法实现对于相同类别标签簇的语义正确匹配与近似匹配挖掘； 采用Arc4cmr损失函数、相互监督对比损失函数、图文特征相似度矩阵和相似标签矩阵间的对比损失函数进行模型约束； 基于缩放点积注意力进行模态对齐的方法包括： 将原始文本特征转化为单个查询将Batch内的所有原始图像特征转换为键和值转换方法具体见公式1：同理，对于图像检索文本任务的转换方法具体见公式2； 上述公式中，Dp为投影维度大小，Dp的取值为1024，LN代表层归一化，是维度相同的投影矩阵； 单个原始文本特征Qt与Batch内每个原始图像特征Kv的相关性权重根据相关性权重系数所占比重，重新聚合投影图像特征Vv，经过缩放点积注意力后获得的文本特征输出为AttentionQt,Kv,Vv，具体如公式3； 同理，经过缩放点积注意力后获得的图像特征输出为AttentionQt,Kv,Vv，具体如公式4； 公式3与公式4中的为缩放因子； 然后将注意力模块的聚合图像表示用权重投影回如公式5： rv∣t＝LNAttentionQt,Kv,VvWO5 其中，rv∣t表示以文本t为条件的聚合图像特征； 将注意力模块的聚合文本表示用权重投影回如公式6： rt∣v＝LNAttentionQv,Kt,VtWo6 其中，rt∣v是以图像v为条件的聚合文本特征； 最终经由基于缩放点积注意力的模态交互得到的文本为检索条件的图像模态特征表示为Cv∣t，即文本特征对齐处理的最终融合输出，如公式7，以图像为检索条件的文本模态特征表示为Ct∣v，即图像特征对齐处理的最终融合输出，如公式8所示； 上述公式中，单个元素具体含义为Batch内的单个原始文本特征被重新表示为单个元素具体含义为Batch内的单个原始图像特征被重新表示为

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国电子科技集团公司第五十四研究所;桂林电子科技大学，其通讯地址为：050050 河北省石家庄市中山西路589号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。