买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院自动化研究所申请的专利图文音多模态预训练模型方法、装置、电子设备和介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116628490B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310369935.6，技术领域涉及：G06F18/214；该发明授权图文音多模态预训练模型方法、装置、电子设备和介质是由刘静;何兴建;陈思涵;王卫宁;朱欣鑫设计研发完成，并于2023-04-07向国家知识产权局提交的专利申请。

本图文音多模态预训练模型方法、装置、电子设备和介质在说明书摘要公布了：本发明涉及计算机技术领域，提供一种图文音多模态预训练模型方法、装置、电子设备和介质，其中方法包括：获取训练样本的多模态信息；基于多模态信息中文本模态特征与其他模态特征之间的语义相似度，将多模态信息进行特征分组对齐，得到各模态分组并确定分组对齐损失；基于各模态分组中图、音和图音模态中的一种，对随机掩码的文本进行文本重建，并基于各组重建文本和各组样本文本确定文本重建损失；基于分组对齐损失和文本重建损失，对模型进行参数迭代，得到多模态模型。本发明提供的图文音多模态预训练模型方法、装置、电子设备和介质，能够提高多模态模型的下游任务性能和泛化性能。

本发明授权图文音多模态预训练模型方法、装置、电子设备和介质在权利要求书中公布了：1.一种图文音多模态预训练模型方法，其特征在于，包括： 获取训练样本的多模态信息，所述多模态信息包括视觉、音频和文本，所述视觉包括视频和或图像； 基于所述多模态信息中文本模态特征与其他模态特征之间的语义相似度，将所述多模态信息进行特征分组对齐，得到各模态分组并确定分组对齐损失，所述其他模态特征包括视觉模态特征、音频模态特征和音视觉组合模态特征中的一种； 基于各模态分组中其他模态特征，对随机掩码的文本进行文本重建，得到各组重建文本，并基于所述各组重建文本和各组样本文本确定文本重建损失； 基于所述分组对齐损失和所述文本重建损失，对模型进行参数迭代，得到多模态模型； 所述各模态分组包括文本-视觉模态分组、文本-音频模态分组、文本-音视觉组合模态分组中的至少一种，所述确定分组对齐损失，包括： 基于所述文本模态特征与视觉模态特征之间的语义相似度，确定第一分组对齐损失； 基于所述文本模态特征与音频模态特征之间的语义相似度，确定第二分组对齐损失； 基于所述文本模态特征与音视觉组合模态特征之间的语义相似度，确定第三分组对齐损失； 基于所述第一分组对齐损失、所述第二分组对齐损失以及所述第三分组对齐损失中的至少一种，确定所述分组对齐损失； 所述基于各模态分组中其他模态特征，对随机掩码的文本进行文本重建，得到各组重建文本，包括： 分别将所述各模态分组中文本模态特征和其他模态特征进行跨模态特征融合，得到各模态分组的融合特征； 基于所述各模态分组的融合特征，应用文本掩码建模方法，针对各模态分组，分别对随机掩码的文本进行文本重建，得到各组重建文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100190 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。