买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学;合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利基于自监督学习技术的被遮挡的人脸表情识别方法及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115631526B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211334926.5，技术领域涉及：G06V40/16；该发明授权基于自监督学习技术的被遮挡的人脸表情识别方法及应用是由王上飞;王佳禾;丁赫彦设计研发完成，并于2022-10-28向国家知识产权局提交的专利申请。

本基于自监督学习技术的被遮挡的人脸表情识别方法及应用在说明书摘要公布了：本发明公开了一种基于自监督学习技术的被遮挡的人脸表情识别方法及应用，该方法的步骤包括：1、对一个包含无标签人脸图像的数据库进行图像预处理；2、构建自监督学习的前置任务阶段网络模型；3、构造相似性损失和遮挡识别损失；4、使用梯度下降法对自监督学习的前置任务阶段网络模型参数进行优化；5、对N类人脸表情图像的数据库进行图像预处理；6、构建自监督学习的下游任务阶段网络模型；7、构造分类损失；8、使用梯度下降法对自监督学习的下游任务阶段网络模型参数进行优化；9、利用训练好的分类器对待测人脸图像进行人脸表情的分类识别。本发明能克服图像遮挡对人脸表情识别效果造成的负影响，从而能实现人脸表情的精准识别。

本发明授权基于自监督学习技术的被遮挡的人脸表情识别方法及应用在权利要求书中公布了：1.一种基于自监督学习的被遮挡人脸表情识别方法，其特征是按如下步骤进行： 步骤1、对包含无标签人脸图像的数据库进行图像预处理： 根据数据库中每张图像的人脸关键点信息，对包含无标签人脸图像的数据库中的每张图像进行尺寸裁剪、缩放和旋转的操作，使得图像中的人脸处于在中间位置后，得到处理后的图像集，记作其中，Np表示训练样本的总数，表示第i张无遮挡的人脸图像；H代表图像的高度，W代表图像的宽度； 从Nc种遮挡图案中随机选择的一种遮挡图案并随机添加到第i张无遮挡的人脸图像上，生成第i张有遮挡的人脸图像且对应的遮挡掩码记为Mi∈{0,1}H×W； 将处理后的图像集经过合成后的被遮挡图像集及其对应的遮挡掩码集记作自监督学习的前置任务阶段数据集 步骤2、构建自监督学习的前置任务阶段网络模型，包括：前置特征提取器Fb，图像特征提取器F，遮挡识别器Uo和特征映射头R； 前置特征提取器Fb由输入卷积层、批归一化层和ReLU激活函数构成； 图像特征提取器F由最大池化层、Resnet特征提取层和均值池化层构成； 遮挡识别器Uo由输入卷积层、上采样卷积层和输出卷积层构成，输入卷积层和上采样卷积层后均接入批归一化层和ReLU激活函数，输出卷积层后接入批归一化层； 特征映射头R由输入线性层、ReLU激活函数和输出线性层构成； 遮挡识别器Uo和特征映射头R中的参数需要进行初始化； 步骤3、构造相似性损失和遮挡识别损失； 步骤3.1、相似性损失： 步骤3.1.1、将所述第i张无遮挡的人脸图像输入所述前置特征提取器Fb中进行处理，得到第i个无遮挡前置特征 将所述第i张有遮挡的人脸图像输入所述前置特征提取器Fb中进行处理，得到第i个有遮挡前置特征 步骤3.1.2、将所述无遮挡前置特征输入所述图像特征提取器F中进行处理，得到无遮挡中间特征 将所述有遮挡前置特征输入所述图像特征提取器F中进行处理，得到有遮挡中间特征 步骤3.1.3、将所述无遮挡中间特征输入所述特征映射头R中进行处理，得到无遮挡面部表示 将所述有遮挡中间特征输入所述特征映射头R中进行处理，得到有遮挡面部表示 步骤3.1.4利用式1构建相似性损失函数 式1中，和分别表示和的相似性损失，并由式2和式3得到： 式2和式3中，τ表示温度参数，sim表示余弦相似度函数；z表示除之外的所有面部表示的集合中的任意一个面部表示，z'表示除之外的所有面部表示的集合中的任意一个面部表示； 步骤3.2、遮挡识别损失： 步骤3.2.1、将所述有遮挡前置特征输入所述遮挡识别器Uo中进行处理，得到遮挡预测矩阵 步骤3.2.3、利用式4构建遮挡识别损失函数 式4中，M[g,k]表示遮挡掩码Mi中第g行第k列的像素点是否属于遮挡图案，表示遮挡预测矩阵中第g行第k列的像素点属于遮挡图案的预测概率； 步骤4、使用梯度下降法对自监督学习的前置任务阶段网络模型参数进行优化； 步骤4.1、利用式5构建自监督学习的前置任务阶段网络模型的总损失函数函数 式5中，λss和λmask分别是控制相似性损失和遮挡识别损失权重的权重因子； 步骤4.2、设置外部的总训练步数为K，外部的当前训练步数为k；设置内部的总训练步数为K，内部的当前训练步数为k；设置训练中每次采样的样本数为B；初始化k＝1，k＝1； 步骤4.3、从自监督学习的前置任务阶段数据集中进行外部第k次内部第k次随机不放回的取出B组样本并作为外部第k次内部第k次迭代的训练样本；其中，表示所述第j张无遮挡的人脸图像，表示所述第j张有遮挡的人脸图像，Mj表示所述第j张有遮挡图像对应的遮挡掩码； 步骤4.4、将外部第k次内部第k次迭代的训练样本输入自监督学习的前置任务阶段网络模型中，并使用梯度下降法对所述自监督学习的前置任务阶段网络模型进行训练，同时计算总损失函数函数以外部第k次内部第k次更新网络模型参数； 步骤4.5、将k+1赋值给k后，判断k*B≥N是否成立，若成立，则执行步骤4.6，否则返回步骤4.3继续执行； 步骤4.6、将k+1赋值给k后，判断k≥K是否成立，若成立，则表示自监督学习的前置任务阶段网络模型训练结束，并得到自监督学习的前置任务阶段训练后的前置特征提取器F'，图像特征提取器F'，遮挡识别器U'和特征映射头R'，执行步骤5，否则，初始化k＝1后，返回步骤4.3继续执行； 步骤5、对包含具有N类人脸表情图像的数据库进行图像预处理； 对数据库中所有的人脸图像进行裁剪、缩放和旋转操作，得到归一化后的人脸图像数据集共有Nfo+Nfc个训练样本，其中，表示无遮挡的人脸图像，是向中添加遮挡之后的有遮挡的人脸图像，yi’∈{0,1,…,N-1}表示第i'个样本的表情标签； 步骤6、构建自监督学习的下游任务阶段网络模型，包括自监督学习的前置任务阶段训练后的前置特征提取器F'，自监督学习的前置任务阶段训练后的图像特征提取器F'和表情分类器C； 表情分类器C依次由一个线性层、一个批归一化层、一个ReLU激活函数、一个线性层、一个批归一化层、一个ReLU激活函数和一个线性层组成，其中线性层参数需要进行初始化； 步骤7、构造分类损失； 步骤7.1、从所述中任意取一对样本与他们的真实标签将样本输入所述前置特征提取器F'b，得到前置特征将样本输入所述前置特征提取器F'b，得到前置特征 步骤7.2、将所述前置特征分别输入所述图像特征提取器F'，得到中间特征将所述前置特征分别输入所述图像特征提取器F'，得到中间特征 步骤7.3、将所述中间特征输入表情分类器C，得到分类概率向量将所述中间特征输入表情分类器C，得到分类概率向量 步骤7.4、利用式6构建分类损失 式6中，表示交叉熵损失函数，softmax表示softmax函数； 步骤8、使用梯度下降法对自监督学习的下游任务阶段网络模型参数进行优化； 步骤8.1、设置总的训练步数为K'，当前总的训练步数为k'；设置内部的训练步数为K'b，当前内部的训练步数为k'b；设置训练中每次采样的样本数为B'；初始化k',k'b为1； 步骤8.2、从所述中进行外部第k'次内部第k'b次随机不放回的取出B'组样本并作为外部第k'次内部第k'b次迭代的训练样本； 步骤8.3、将训练样本输入自监督学习的下游任务阶段网络模型，使用梯度下降法根据式6优化前置特征提取器F'b，图像特征提取器F'和表情分类器C； 步骤8.4、将k'b+1赋值给k'b后，判断k'b*B'≥Nfo是否成立，若成立，则执行步骤8.5，否则，返回步骤8.2继续执行； 步骤8.5、将k'+1赋值给k'后，判断k'≥K'是否成立，若成立，则表示自监督学习的下游任务阶段网络模型训练结束，并得到自监督学习的下游任务阶段训练后的前置特征提取器F”b，图像特征提取器F”和表情分类器C'，执行步骤9，否则，将初始化k'b＝1后，返回步骤8.2继续执行； 步骤9、利用训练好的自监督学习的下游任务阶段训练后的前置特征提取器F”b，图像特征提取器F”和表情分类器C'对待测的人脸图像进行预测，以实现人脸表情的分类识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学;合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。