买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮科学研究院有限公司申请的专利一种基于AI训练平台的多模态数据增强方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119557630B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510121495.1，技术领域涉及：G06F18/213；该发明授权一种基于AI训练平台的多模态数据增强方法和系统是由张晨;魏子重设计研发完成，并于2025-01-26向国家知识产权局提交的专利申请。

本一种基于AI训练平台的多模态数据增强方法和系统在说明书摘要公布了：本发明公开了一种基于AI训练平台的多模态数据增强方法和系统，属于多模态数据处理技术领域，该方法的实现包括：首先，在AI训练平台上开发多模态数据融合管道，通过数据采集模块收集不同模态的数据进行预处理；在预处理阶段，利用多模态数据融合管道对来自不同模态的数据进行特征提取，并在特定层次进行联合建模；然后，采用数据增强管道自动生成高质量的合成数据；最后，开发多模态深度学习管道，以充分学习和理解不同模态数据的深层次特征。本发明解决现有技术中因单一模态数据导致模型学习偏向性的问题，提高了模型的泛化能力和数据处理效率，同时为AI训练平台用户简化了多模态数据任务的处理难度，具有重要应用价值。

本发明授权一种基于AI训练平台的多模态数据增强方法和系统在权利要求书中公布了：1.一种基于AI训练平台的多模态数据增强方法，其特征在于，该方法的实现包括： 首先，在AI训练平台上开发多模态数据融合管道，通过数据采集模块收集不同模态的数据，并进行预处理；在预处理阶段，利用多模态数据融合管道对来自不同模态的数据进行特征提取，并在特定层次进行联合建模； 然后，采用数据增强管道自动生成高质量的合成数据； 最后，开发多模态深度学习管道，以充分学习和理解不同模态数据的深层次特征； 所述多模态数据融合管道，对从不同数据源中采集的多模态数据进行标准化处理，包括： 对图像数据：进行缩放和归一化，支持两种归一化方式：第一是将图像像素值从0-255的范围调整为0-1；第二是按特定均值和标准差进行归一化，使用ImageNet数据集的标准化值：均值[0.485,0.456,0.406]，标准差[0.229,0.224,0.225]； 对文本数据：进行分词和编码，使用自然语言处理工具库进行分词，使用BERT、Word2Vec模型将分词后的文本转换为词嵌入向量； 对时间序列数据：进行插值、对齐处理，保证所有数据能够在同一时间轴或同一维度下进行分析； 时序同步与对齐，具体实现如下： 将整个时间序列切片成多个时间段，每个时间段包含多个模态的数据，且可通过插值填补缺失的时刻点； 数据特征提取，具体包括： 图像数据特征提取：使用预训练的卷积神经网络ResNet模型从图像中提取高级特征；在卷积层后，使用全局平均池化，将特征图转换为固定长度的特征向量，进一步用于多模态融合； 文本数据特征提取：使用预训练的语言模型Transformer对文本数据进行编码，提取文本的语义特征向量；然后，将每个分词后的单词或子词转换为固定长度的向量，输出的特征向量可表示文本中的上下文关系和语义信息； 传感器数据特征提取：使用循环神经网络提取传感器数据中的时间序列特征； 所述数据增强管道，通过生成对抗网络生成模型，利用现有的多模态数据生成新的样本： 训练GAN模型，采用现有的多模态数据作为输入；生成器生成新的样本，而判别器评估生成样本的真实性；通过不断迭代训练，生成器能够学习到真实数据的分布，生成与真实样本相似的新样本；生成的样本将作为额外的训练数据输入到模型中； 所述多模态深度学习管道，包括特征级融合策略和决策级融合策略； 所述特征级融合策略是先对各个模态的数据进行特征提取，将不同模态的特征在指定空间或维度上进行对齐，之后再将它们输入到一个联合模型中；包括特征对齐和深度融合模型； 所述特征对齐：基于全连接神经网络创建共享的潜在空间，使不同模态的特征能够在同一空间内进行对齐；通过损失函数来优化对齐效果，确保模态间的相关性最大化；并且，在对齐过程中，引入正则化技术以防止过拟合； 所述深度融合模型：设计多模态联合模型，多模态Transformer，将该深度融合模型作为内置模型嵌入到AI训练平台中，同时支持用户自定义模型；将对齐后的特征作为输入进行进一步处理；多模态联合模型具体网络架构如下： 多模态Transformer输入层接收对齐后的特征向量，经过多个全连接层进行非线性变换，最终输出预测结果；不同层之间引入跳跃连接；通过自注意力层实现模型聚焦于不同模态中特征的重要部分，使得模型能够自适应地调整各模态特征的权重；所述决策级融合策略是在每个模态的数据分别进行处理后，再将各自的输出结果进行综合决策，包括独立模型训练和加权投票； 所述独立模型训练：为每种模态设计独立的模型：图像使用CNN，文本使用BERT，其他数据使用LSTM；将经过训练的模型作为内置基础模型嵌入AI训练平台中，同时用户可选择自定义基础模型；每个模型在各自的模态数据上独立训练，以捕捉模态特有的特征；训练完成后，每个独立模型对输入数据进行预测，产生相应的输出结果； 所述加权投票：设定每个模态模型的权重，将模型的输出结合起来；权重为基于模型在验证集上的性能进行调整。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250000 山东省济南市高新区浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。