买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浪潮(北京)电子信息产业有限公司申请的专利一种多模态数据处理方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114330488B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111400866.8，技术领域涉及：G06V10/764；该发明授权一种多模态数据处理方法、装置、设备及存储介质是由晁银银;王斌强;董刚;胡克坤;赵雅倩;李仁刚设计研发完成，并于2021-11-19向国家知识产权局提交的专利申请。

本一种多模态数据处理方法、装置、设备及存储介质在说明书摘要公布了：本申请公开了一种多模态数据处理方法、装置、设备及存储介质，该方法包括：获取目标物体的不同光学模态信息，制作多模态数据集；构建多模态融合网络模型；多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；利用多模态数据集训练多模态融合网络模型；获取待测物体的不同光学模态信息，并输入至训练完成的多模态融合网络模型中，输出分类结果或回归结果。这样可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系，高效完成分类或回归任务，进而促进多模态人工智能信息提取和融合的发展，提升竞争力。

本发明授权一种多模态数据处理方法、装置、设备及存储介质在权利要求书中公布了：1.一种多模态数据处理方法，其特征在于，包括： 通过分光系统将来自目标物体的反射光分为第一光束和第二光束；所述第一光束传输至光学微偏振器系统；所述第二光束传输至傅里叶4f系统；通过所述光学微偏振器系统获取强度信息和偏振信息；同时，通过所述傅里叶4f系统获取频率信息；所述光学微偏振器系统包括第一凸透镜、微偏振片和第一探测器；其中，所述第一凸透镜，用于将所述第一光束会聚到所述微偏振片上；所述微偏振片，用于同时采集强度信息和偏振信息；所述第一探测器，用于将所述微偏振片采集的强度信息和偏振信息转化为二维矩阵数据；所述微偏振片中每个像素单元包括用于采集强度信息的两个增透子单元和用于采集偏振信息的两个线偏振子单元；两个所述线偏振子单元呈对角分布；两个所述增透子单元呈对角分布； 根据目标物体的强度信息、偏振信息和频率信息，制作多模态数据集；所述多模态数据集为二维矩阵形式； 构建多模态融合网络模型；所述多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；所述模态特征提取网络包括多个模态特征提取子网络；各模态特征提取子网络与各模态一一对应；各模态特征提取子网络的输入为多模态数据集，输出为模态嵌入向量；各模态特征提取子网络采用flatten层将输入的二维矩阵转化为一维向量并输入至全连接层，将全连接层的输出结果输入至注意力层；各模态特征提取子网络的输入和权重参数不共享；注意力层包括线性映射、ReLU激活和归一化层；注意力层的输出与输入具有相同维度；将归一化层输出的权重向量与全连接层的输出结果对应点相乘，得到所述模态特征提取网络的输出；所述模态特征融合网络是提取不同模态之间的内在关系，将多个模态输入转换为三维矩阵输出；所述决策网络将三维矩阵输入到flatten层得到一维矢量，再输入到ReLU层；ReLU层包括线性映射运算和ReLU非线性激活函数运算；所述决策网络的输出层softmax层或sigmoid层，分别完成分类或者回归任务； 利用所述多模态数据集训练所述多模态融合网络模型； 获取待测物体的不同光学模态信息，并输入至训练完成的所述多模态融合网络模型中，输出分类结果或回归结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮(北京)电子信息产业有限公司，其通讯地址为：100085 北京市海淀区上地信息路2号2-1号C栋1层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。