买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利基于动态提示信息的缺失模态的多模态图像识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118692156B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410716518.9，技术领域涉及：G06V40/70；该发明授权基于动态提示信息的缺失模态的多模态图像识别方法是由杨霄;袁海;潘在宇;李玉莲;孙富春;王军设计研发完成，并于2024-06-04向国家知识产权局提交的专利申请。

本基于动态提示信息的缺失模态的多模态图像识别方法在说明书摘要公布了：本发明公开了一种基于动态提示信息的缺失模态的多模态图像识别方法。本发明提出了两个创新点：1本发明针对的是在训练和测试阶段均缺失的场景下，使模型更具鲁棒性，能够更好地适应真实生活中多变的条件。2本发明提出了动态提示信息的融合模块，增强了剩余模态间充分的交互，提升了多模态识别任务性能。并且可以根据识别样本的难易程度，动态选择融合模块，融合未缺失的模态信息，提高模型对复杂情境的应对能力。

本发明授权基于动态提示信息的缺失模态的多模态图像识别方法在权利要求书中公布了：1.一种基于动态提示信息的缺失模态的多模态图像识别方法，其特征在于，包括：步骤1、采集若干掌纹掌静脉图像构建多模态掌纹掌静脉图像数据集，对上述数据集进行预处理，再将其按照1：1划分为训练集和测试集；步骤2、构建整体网络模型：整体网络模型包括模态的共有特征提取网络、模态的私有特征提取网络、基于动态提示信息的融合模块；步骤3、训练整体网络模型：步骤3-1、利用训练集训练整体网络模型，训练时进行随机模态缺失，得到缺失模态和未缺失模态；步骤3-2、利用模态的共有特征提取网络对未缺失模态进行特征提取，得到未缺失模态的共有特征，利用模态的私有特征提取网络对未缺失模态进行特征提取，得到未缺失模态的私有特征；步骤3-3、根据不同样本的难易程度，利用基于动态提示信息的融合模块灵活调整融合策略，得到第一融合特征；在未缺失模态的私有特征的基础上，与第一融合特征进行融合，生成缺失模态的特征；其中：构建简单融合单元，对未缺失模态的私有特征X与Y进行归一化操作，然后对归一化后的两个特征进行连接操作，最后使用ReLU激活函数对融合特征进行非线性化，得到融合特征；构建模态内特征增强融合单元，对未缺失模态的私有特征X与Y进行归一化操作，然后创建随机仿射变换对象，对归一化后的两个特征进行仿射变换，得到第一仿射特征与第二仿射特征：将第一仿射特征与归一化后的X特征相乘进行加权，得到第一加权特征，将第二仿射特征与归一化后的Y特征相乘进行加权，得到第二加权特征，然后将第一加权特征与归一化后的X特征相加，得到第三加权特征，将第二加权特征与归一化后的Y特征相加，得到第四加权特征；最后将第三加权特征与第四加权特征进行连接操作，并使用ReLU激活函数进行非线性化，得到特征增强后的融合特征，构建动态空间-通道融合单元，动态空间-通道融合单元包括空间注意力单元、通道注意力单元以及融合单元；步骤3-4、将未缺失模态的私有特征和缺失模态的特征进行融合，得到第二融合特征，步骤4、将第二融合特征输入整体网络模型的分类层，得到预测标签，通过损失函数计算预测标签与真实标签之间的差异，并反向传播误差以更新模型参数，从而优化训练的整体网络模型，提升网络模型的识别准确度，得到最终网络模型；步骤5、使用测试集评估最终网络模型，测试其准确性和误差率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221116 江苏省徐州市铜山区大学路一号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。