买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华侨大学申请的专利基于三模态融合对比学习的跨人脸-语音验证方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117077078B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311007506.0，技术领域涉及：G06F18/25；该发明授权基于三模态融合对比学习的跨人脸-语音验证方法及系统是由高振国;仇媛媛;曲书磊;武潇潇设计研发完成，并于2023-08-11向国家知识产权局提交的专利申请。

本基于三模态融合对比学习的跨人脸-语音验证方法及系统在说明书摘要公布了：本发明公开了基于三模态融合对比学习的跨人脸‑语音验证方法及系统，方法包括训练阶段和测试阶段，训练阶段包括以下步骤：S1，构建训练样本数据集；S2，构建三模态融合对比学习模型；S3，加载预训练参数，以加快模型拟合，提高模型的训练效率；S4，设置三模态融合对比学习模型训练所需要的参数；S5，对三模态融合对比学习模型进行迭代训练，选取训练好的三模态融合对比学习模型；测试阶段具体为，将训练好的三模态融合对比学习模型的参数加载到随机初始化的三模态融合对比学习模型中，完成生物特征匹配的任务。本发明提出的基于三模态融合对比学习的跨人脸‑语音验证方法，可以有效地关联人脸和语音数据，消除深层特征之间的语义鸿沟。

本发明授权基于三模态融合对比学习的跨人脸-语音验证方法及系统在权利要求书中公布了：1.基于三模态融合对比学习的跨人脸‑语音验证方法，包括训练阶段和测试阶段，其特征在于，训练阶段包括以下步骤： S1，构建训练数据集，获取人脸初始特征和语音初始特征对输入的人脸图像和语音片段进行预处理，形成训练数据集其中fi和vi表示第i对人脸‑语音样本对，yi表示第i对数据的身份标签信息，N表示训练样本总数；根据跨模态人脸‑语音领域在Voxceleb1数据集上的划分方式，采用随机取样的方式从训练数据集中获得成对且匹配的人脸‑语音数据，通过人脸特征卷积网络Fnet·提取人脸初始特征通过语音特征卷积网络Vnet·提取语音初始特征S2，构建三模态融合对比学习模型；三模态融合对比学习模型包括多模态混合编码器和特征分类层；多模态混合编码器用于通过人脸初始特征和语音初始特征获得人脸模态特征Fi、语音模态特征Vi和身份模态特征Ii；特征分类层用于身份模态的分类学习； S3，加载预训练参数；加载人脸特征卷积网络Fnet·和语音特征卷积网络Vnet·的预训练参数； S4，设置三模态融合对比学习模型训练所需要的参数；所述参数包括学习率、训练轮数和批量大小，并对队列长度、动量参数、温度参数、模态融合参数和三模态内部融合的边界值进行初始化； S5，使用训练数据集对三模态融合对比学习模型进行基于损失函数的迭代训练，在迭代过程中对人脸特征卷积网络Fnet·、语音特征卷积网络Vnet·以及多模态混合编码器进行梯度回传更新，直至模型达到预设的训练周期，选取在验证集上得分最高的三模态融合对比学习模型进行保存，作为训练好的三模态融合对比学习模型； 测试阶段具体为，将训练好的三模态融合对比学习模型的参数加载到随机初始化的三模态融合对比学习模型中，基于测试集获得跨模态人脸‑语音验证和二路匹配任务的结果，完成生物特征匹配的任务； 所述S2中，搭建三模态融合对比学习模型，方法如下： S21，构造多模态混合编码器Fusion·，对人脸初始特征和语音初始特征进行融合，获得人脸模态特征Fi、语音模态特征Vi和身份模态特征Ii，输出到特征分类层； S22，特征分类层进行以下操作： S221，获取身份分类得分，利用交叉熵损失对身份模态的特征进行优化； S222，对人脸模态特征Fi、语音模态特征Vi和身份模态特征Ii进行跨模态动量对比学习，挖掘身份模态特征与人脸模态特征和语音模态特征之间的关联性，促进三模态的融合和对齐，弥补人脸数据和语音数据之间的语义差距； S223，三模态内部融合损失，关联三模态的特征； 所述S21的多模态混合编码器表示为： Fusionx＝DropW2ReLUσW1x其中x表示输入，ReLU表示激活函数ReLU，其中W1表示第一层全连接层的权重，W2表示第二层全连接层的权重，σ表示Batch Norm层主要作用是防止模型坍塌，Drop·表示Dropout操作，全连接层的维度变化为512→256→128； 经过多模态混合编码器，训练数据集中第i个人脸模态特征Fi、语音模态特征Vi和身份模态特征Ii的构造过程表示为： 其中μ∈0,1是一个模态融合参数，主要用于在身份模态特征构造过程中调整特征的输入比例。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华侨大学，其通讯地址为：362000 福建省泉州市丰泽区城东城华北路269号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。