华南理工大学徐向民获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华南理工大学申请的专利基于粗粒度标签的多任务自蒸馏面部表情识别方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119693983B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411703721.9,技术领域涉及:G06V40/16;该发明授权基于粗粒度标签的多任务自蒸馏面部表情识别方法及系统是由徐向民;李煦;张子阳;郭锴凌设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本基于粗粒度标签的多任务自蒸馏面部表情识别方法及系统在说明书摘要公布了:本发明公开基于粗粒度标签的多任务自蒸馏面部表情识别方法及系统,涉及人工智能,针对现有技术中的问题提出本方案。在表情识别时进行以下操作步骤:S1.特征预提取;S2.细粒度特征提取;S3.粗粒度特征提取;S4.自蒸馏损失;S5.特征对齐;S6.整体训练损失。优点在于:1利用多任务学习通过较为简单的粗粒度分类任务指导学习细粒度的面部表情特征,减少学习到的非表情相关冗余特征。此外,引入自蒸馏损失以进一步实现从粗粒度到细粒度分支的知识迁移。2粗粒度标签基于面部表情先验,通过手工分割得到,避免了额外的专家标注需求。3将粗粒度的面部表情特征映射到细粒度特征空间,进一步提高知识蒸馏的效果。
本发明授权基于粗粒度标签的多任务自蒸馏面部表情识别方法及系统在权利要求书中公布了:1.基于粗粒度标签的多任务自蒸馏面部表情识别系统,其特征在于,包括特征提取器、主任务分支模块、特征对齐模块和粗粒度辅助模块; 在表情识别时进行以下操作步骤: S1.特征预提取; S2.细粒度特征提取; S3.粗粒度特征提取; S4.自蒸馏损失; S5.特征对齐; S6.整体训练损失; 所述步骤S1具体为: 特征预提取器获取共享的浅层特征,采用TinySwinTransformer的前三个阶段作为特征预提取器;输入的面部表情图像为其中c表示通道数,h和w分别表示所述面部表情图像的高度和宽度;所述面部表情图像经过特征预提取器得到浅层特征其中t表示特征的token数量,d是每token的维度; 所述步骤S2具体为: 提取到的浅层特征用于进一步的特征提取和知识迁移;特征x被输入到主任务分支模块中的编码器;编码器与TinySwinTransformer的第四阶段配置相同,专门用于提取深层的面部表情特征;使用平均池化操作将t个token的输出进行全局平均池化,得到最终的细粒度特征 xf=AvgtPoolEfx; pf=σFCfxf; FCf·表示全连接层操作;σ·是softmax操作,用于将输出转化为最终分类概率分布; 使用交叉熵损失函数来训练模型,交叉熵损失函数用于衡量模型的输出与真实标签之间的差异;其公式如下: 其中,N是样本总数,K1是细粒度分类的类别数量,是第i个样本的真实标签的one-hot编码中的第k项,是模型预测的属于第k类的概率; 所述步骤S3具体为: 基于表情先验引入粗粒度FER任务,包括用于“中性”和“表情”的二分类任务,以及用于“积极”、“消极”、“中性”和“惊讶”的四分类任务; 粗粒度辅助模块通过多任务学习执行粗粒度分类任务;将输入的浅层特征x分别输入到两个辅助分支,经过编码器提取粗粒度特征;粗粒度辅助模块中的编码器与主任务模块中的编码器具有相同的结构; 首先,浅层特征x经过两个辅助分支中的编码器后,得到二分类和四分类任务的特征: xc1=AvgPoolEc1x, xc2=AvgPoolEc2x; 其中,Ec1是用于四分类任务的编码器,Ec2是用于二分类任务的编码器; 然后,经过平均池化操作得到粗粒度特征和 接着通过全连接层和softmax操作获得粗粒度分类的概率分布pc1和pc2,使用交叉熵函数分别计算四分类任务和二分类任务的损失: 其中,K2表示四分类任务的类别数量,K3表示二分类任务的类别数量,是四分类任务的第i个样本的one-hot标签,是二分类任务的第i个样本的one-hot标签,是四分类任务的网络预测属于第g类的概率,是二分类任务的网络预测属于第h类的概率; 所述步骤S4具体为: 将多任务学习与自蒸馏损失结合,利用粗粒度的辅助分支作为教师,主分支作为学生,通过自蒸馏学习粗粒度的表情先验,该过程表述为: 其中,分别由通过softmax函数和特征对齐模块获得; 所述步骤S5具体为: 特征对齐模块用于将粗粒度特征映射到细粒度特征空间中; 四分类任务的粗粒度特征xc1和二分类任务的粗粒度特征xc2通过特征对齐模块映射到细粒度特征空间,映射后的特征分别表示为xf1和xf2: 其中,xf1是四分类的粗粒度特征到细粒度特征空间的投影,xf2是二分类的粗粒度特征到细粒度特征空间的投影,FAMc1·是四分类的特征对齐模块,FAMc2·是二分类任务的特征对齐模块;每个特征对齐模块都包含三个全连接层和LeakyReLU激活函数,以增强该模块的表达能力;在特征对齐后,粗粒度的表情特征进一步转换为细粒度的表情特征,从而将辅助分支中的知识转移到主任务分支; 所述步骤S6具体为: 结合多任务分类任务的损失和自蒸馏损失,构建整体损失函数;这三项损失的总权重设为1;都是用于自蒸馏的损失;最终的损失函数表示: 其中,α,β,γ是平衡各监督项的权衡参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华南理工大学,其通讯地址为:510641 广东省广州市天河区五山路381号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励