买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆大学申请的专利一种多模态图像融合方法、装置及计算机设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116664465B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310643758.6，技术领域涉及：G06F16/903；该发明授权一种多模态图像融合方法、装置及计算机设备是由李刚;周尚波;李明玉;郭尚志;孟菲;黎荆妗;赵庆;鲜开义;徐博;黄煜辉设计研发完成，并于2023-06-01向国家知识产权局提交的专利申请。

本一种多模态图像融合方法、装置及计算机设备在说明书摘要公布了：本申请提供了一种多模态图像融合方法、装置及计算机设备，涉及图像处理技术领域，用于在提高多模态图像融合的效率和准确率的基础上，提高数据检索的准确率。方法主要包括：从第一数据格式图像、第二数据格式图像和第三数据格式图像分别提取第一特征矩阵、第二特征矩阵和第三特征矩阵；对第一特征矩阵、第二特征矩阵和第三特征矩阵进行融合得到融合图像；根据融合图像和各个格式图像分别对应的文本数据和音频数据，确定特征融合矩阵；根据特征融合矩阵获取与原始数据对应的检索数据内容，所述检索数据内容包括检索图像、检索文本和或检索音频；基于所述检索数据内容查找与所述原始数据对应的数据。

本发明授权一种多模态图像融合方法、装置及计算机设备在权利要求书中公布了：1.一种多模态图像融合方法，其特征在于，所述方法包括： 获取待检索的原始数据，所述原始数据包括第一数据格式图像、第二数据格式图像和第三数据格式图像，以及各个格式图像分别对应的文本数据和音频数据； 从第一数据格式图像、第二数据格式图像和第三数据格式图像分别提取第一特征矩阵、第二特征矩阵和第三特征矩阵； 基于所述第一特征矩阵、所述第二特征矩阵和所述第三特征矩阵，对各个特征矩阵中各对应的特征点的比对结果对特征矩阵中的异常点进行过滤，包括：各个特征矩阵中的特征点分别进行比对，获取比对结果中与其他两个特征矩阵的特征点不一致的，为；其中，为第一特征矩阵的第i行第j列的特征点，为第二特征矩阵的第i行第j列的特征点，为第三特征矩阵的第i行第j列的特征点，i的取值为1-n，j的取值为1-m；将特征矩阵中过滤掉，直至比对完特征矩阵中的所有特征点为止，第一数据格式图像、第二数据格式图像和第三数据格式图像为同一视角的不同数据格式的图像；其中各个特征矩阵的矩阵维度是相同的，都是n*m维； 对经过过滤的所述第一特征矩阵、所述第二特征矩阵和所述第三特征矩阵进行融合得到融合图像，包括：对经过过滤的所述第一特征矩阵、所述第二特征矩阵和所述第三特征矩阵输入到图像特征融合模型，得到融合图像，所述融合图像中包括融合的深度特征、纹理特征；其中，所述图像特征融合模型是根据第一样本特征矩阵、第二样本特征矩阵和第三样本特征矩阵，以及对应的融合图像标签特征矩阵进行神经网络模型训练的； 所述图像特征融合模型包括三个通道，每个通道对应有2个卷积层、1个池化层和1个堆栈；所述对经过过滤的所述第一特征矩阵、所述第二特征矩阵和所述第三特征矩阵输入到图像特征融合模型，包括：将经过过滤的所述第一特征矩阵输入到第一通道，经过第一通道的2个卷积层、1个池化层得到深度特征和纹理特征，并将得到的深度特征和纹理特征传输到堆栈；将经过过滤的所述第二特征矩阵输入到第二通道，经过第二通道的2个卷积层、1个池化层得到深度特征和纹理特征，并将得到的深度特征和纹理特征传输到堆栈； 将经过过滤的所述第三特征矩阵输入到第三通道，经过第三通道的2个卷积层、1个池化层得度到深度特征和纹理特征，并将得到的深度特征和纹理特征传输到堆栈；对各个堆栈内的深度特征和纹理特征进行融合得到融合图像； 根据所述融合图像和所述各个格式图像分别对应的文本数据和音频数据，确定特征融合矩阵，所述特征融合矩阵中包括每个像素点分别对应的融合图像特征，以及各个格式图像分别对应的文本特征和音频特征； 根据所述特征融合矩阵获取与所述原始数据对应的检索数据内容，所述检索数据内容包括检索图像、检索文本和或检索音频； 基于所述检索数据内容查找与所述原始数据对应的数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400000 重庆市沙坪坝区正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。