买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国海洋大学申请的专利基于内嵌稀疏门专家混合模型的图文跨模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120950724B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511485569.6，技术领域涉及：G06F16/583；该发明授权基于内嵌稀疏门专家混合模型的图文跨模态检索方法是由高艳丽;郑程予;聂婕;陈永展;王立宝设计研发完成，并于2025-10-17向国家知识产权局提交的专利申请。

本基于内嵌稀疏门专家混合模型的图文跨模态检索方法在说明书摘要公布了：本发明属于跨模态图文检索技术领域，公开了基于内嵌稀疏门专家混合模型的图文跨模态检索方法，包括以下步骤：跨模态多尺度建模：利用空洞空间金字塔池化模块ASPP提取图像的多尺度图像特征，利用多尺度激活因子动态加权文本特征，实现图文跨模态多尺度语义对齐；多尺度跨模态特征融合：设计多尺度跨模态路由器，通过交叉注意力融合图像与文本特征，并通过专家网络分尺度提取跨模态联合特征；双路三元组损失计算：采用双路三元组损失函数，结合尺度内与跨尺度约束优化特征空间，实现多尺度与跨模态层面的联合优化，得到最终的跨模态检索结果。通过本发明提高跨模态图文检索的精度和效率。

本发明授权基于内嵌稀疏门专家混合模型的图文跨模态检索方法在权利要求书中公布了：1.基于内嵌稀疏门专家混合模型的图文跨模态检索方法，其特征在于，结合多尺度特征对齐和稀疏门专家混合模型，包括以下步骤： 步骤一、多模态数据输入及特征提取：采用预训练模型分别提取图像与文本的初始模态特征，得到原始图像特征Ek和原始文本特征Fk； 步骤二、跨模态多尺度建模：基于步骤一得到原始图像特征Ek和原始文本特征Fk，利用空洞空间金字塔池化模块ASPP提取图像的多尺度图像特征，利用多尺度图像特征生成多尺度激活因子，利用多尺度激活因子动态加权原始文本特征Fk，实现图文跨模态多尺度语义对齐； 步骤二具体包括图像多尺度特征提取、多尺度激活因子生成、文本多尺度加权对齐的步骤，分别如下： 1图像多尺度特征提取：将原始图像特征输入空洞空间金字塔池化模块ASPP，通过不同空洞率的空洞卷积获取多尺度感受野下的局部-全局图像特征； 2多尺度激活因子生成：将ASPP输出的多尺度图像特征通过可学习参数映射为权重矩阵，即为多尺度激活因子A； 3文本多尺度加权对齐：利用多尺度激活因子A对原始文本特征进行尺度感知的动态加权，使文本模态同步建模与图像匹配的多尺度语义，最终实现图文跨模态多尺度协同建模； 步骤三、多尺度跨模态特征融合：设计多尺度跨模态路由器，通过交叉注意力融合了同尺度图像特征和加权后的文本特征，并通过多个专家网络分尺度提取具有多层次语义关联的多尺度跨模态联合特征； 步骤三中多尺度跨模态特征融合的步骤包括交叉注意力交互、稀疏门专家分配和分尺度特征提取与聚合的步骤，具体如下： 1交叉注意力交互：针对每个尺度，通过交叉注意力机制计算该尺度下图像特征与加权后文本特征的交互关系，生成尺度感知的跨模态交互特征； 2稀疏门专家分配：由多尺度跨模态路由器根据交互特征的语义属性，通过top-k稀疏门控机制，仅激活与当前尺度特征最匹配的专家网络，实现特征与专家的精准匹配； 3分尺度特征提取与聚合：将交互特征与原始模态特征拼接后，输入对应激活的专家网络进行细粒度对齐，输出单尺度跨模态对齐特征；重复上述过程覆盖所有尺度，最终聚合所有专家网络的输出，得到具有多层次语义关联的多尺度跨模态联合特征； 步骤四、双路三元组损失计算与优化：采用双路三元组损失函数，结合尺度内与跨尺度约束优化特征空间，实现多尺度与跨模态层面的联合优化，完成模型的训练； 步骤五、跨模态检索匹配：模型训练完成后，对待检索的图像或文本生成多尺度跨模态联合特征，计算其与候选集中异模态特征的余弦相似度，按相似度排序输出top-k检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国海洋大学，其通讯地址为：266100 山东省青岛市崂山区松岭路238号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。