买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种多尺度跨媒体信息融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115578596B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211290410.5，技术领域涉及：G06V10/764；该发明授权一种多尺度跨媒体信息融合方法是由张立和;叶娟娟;卢湖川设计研发完成，并于2022-10-21向国家知识产权局提交的专利申请。

本一种多尺度跨媒体信息融合方法在说明书摘要公布了：本发明属于深度学习技术在计算机视觉领域，提供了一种多尺度跨媒体信息融合方法。本发明首先构建了特征提取网络，然后使用了简单融合模块获取最初多模态信息和上下文信息，再通过动态卷积模块实现对于输入图像特征的多尺度、不同感受野下的信息的提取，最后通过全局注意模块将全局上下文信息作为低层特征的指导，有效适应不同尺度下的特征映射，得到最终分割结果。本发明实现了端到端的跨媒体信息深度融合，模型复杂度低，可以充分有效地利用图像信息和自然语言信息来进行图像分割。

本发明授权一种多尺度跨媒体信息融合方法在权利要求书中公布了：1.一种多尺度跨媒体信息融合方法，其特征在于，多尺度跨媒体信息融合方法所采用的网络框架包括视觉、语言特征提取网络，多模态特征融合模块和全局注意力模块；多模态特征融合模块包括特征初始融合模块和动态卷积模块；其中，视觉、语言特征提取网络分别用来提取输入图像、指称表达语句两种模态的特征，提取到的两种特征被送进多模态特征融合模块，首先通过特征初始融合模块获得简单的多模态特征表达，再通过动态卷积模块进一步获得更加丰富多样的上下文信息，最后通过全局注意力模块得到更为精准的分割信息； 具体步骤如下： 1构建基础特征提取网络 视觉特征提取网络采用ResNet101网络结构作为骨干，分别从不同层提取输入图像尺寸的12、14、18、116、132图像编码器特征作为输出，表示为且输出特征对应的通道数分别为32、64、128、256、512通道； 语言特征提取网络首先采用WordEmbedding去编码每个单词对应的特征，编码后的单词特征为T为句子中单词个数，再通过Bi-GRU去提取语言的全局上下文特征，表示为hT； 2构建特征初始融合模块 将语言的全局上下文特征hT分别插入到图像编码器特征V3、V4和V5之后，使得ResNe101被转化成一个多模态特征编码器； 首先，采用串联操作来获取初始的多模态特征编码器： 其中，Concat表示串联操作，表示图像编码器特征Vi在位置p上的特征向量；是一个8维的空间坐标，用于补充网络的空间信息； 接下来，根据特征mp计算其每个位置的语言上下文： αp,t＝mp·et, 其中，表示每个像素和每个单词之间的相关性，通过它对语言特征加权融合来获取位置自适应的语言上下文lp； 3构建动态卷积模块 分别用M和L表示所有位置的特征向量mp和lp的集合；通过特征初始融合模块得到的更新后所有位置的上下文信息L，首先经过动态卷积模块生成3种不同扩张率的卷积核，扩张率分别是1×1、3×3、5×5，之后将这三种卷积核作为动态滤波器的卷积核对下采样过程中的多模态特征M进行卷积，然后将得到的特征沿着通道方向串联来生成最终的多模态特征 其中Gjj∈{1，3，5}表示一系列卷积操作，用于生成扩张率为j的卷积核，表示自适应卷积操作； 4构建全局注意力模块 将动态卷积得到的多模态特征送入全局注意力模块，先对低层特征执行3×3的卷积操作，以减少特征图的通道数；接着，高层特征依次经过1×1卷积、批量归一化和线性变换操作，然后与低层次特征相乘得到加权后的低层特征，最后，将加权后的低层次特征与高层次特征相加并进行逐步的上采样过程，得到最终分割特征 其中，g·表示3×3的卷积操作，f·表示全局平均池化、1×1卷积、批量归一化和线性变换操作，upsample表示上采样；具体来说，通过全局注意力模块将全局上下文信息作为低层特征的指导，利用高层特征含有的丰富语义信息指导低层特征来更好恢复像素信息； 5训练方法 使用ResNet101作为骨干网络，先将其在图像分类数据集ImageNet上进行预训练，并保存预训练网络权重参数；然后整个网络分别在UNC、UNC+、G-Ref和ReferIt上进行训练；以交叉熵损失函数作为目标函数进行优化，使用SGD优化算法，动量设为0.9，权重衰减率设为0.0005，批大小设为8，初始学习率设为0.001，并在5万次迭代后将学习率减小为原来的0.9，共进行10万次迭代。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路２号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。