买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利基于全局局部交叉注意力的轻量人脸表情识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119693982B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411703717.2，技术领域涉及：G06V40/16；该发明授权基于全局局部交叉注意力的轻量人脸表情识别方法及系统是由徐向民;李煦;郭锴凌设计研发完成，并于2024-11-26向国家知识产权局提交的专利申请。

本基于全局局部交叉注意力的轻量人脸表情识别方法及系统在说明书摘要公布了：本发明公开基于全局局部交叉注意力的轻量人脸表情识别方法及系统，涉及人工智能，针对现有技术中的技术问题提出本方案。在处理人脸表情识别时，进行以下步骤：S1.图像预处理；S2.特征预提取；S3.基于交叉注意力的剪枝处理。本发明中所述基于全局局部交叉注意力的轻量人脸表情识别方法是利用所述系统进行人脸表情识别。其优点在于：利用Landmark检测与ViT模型相结合，通过全局与局部特性的交叉注意力机制，显著增强了面部表情识别的性能。能够在捕捉全局面部特征的同时，关注局部关键区域的信息，从而提高了识别的准确性和鲁棒性。通过利用Landmark的局部特性引导模型对token进行剪枝，能够有效地舍弃不重要或干扰性的区域，增强了FER的性能，减少了计算开销。

本发明授权基于全局局部交叉注意力的轻量人脸表情识别方法及系统在权利要求书中公布了：1.基于全局局部交叉注意力的轻量人脸表情识别系统，其特征在于，在处理人脸表情识别时，进行以下步骤： S1.图像预处理； S2.特征预提取：采用在Ms-Celeb-1M上预训练的IR-50的前三个阶段作为特征预提取器以获取全局特征，预训练的MobileFaceNet作为Landmark检测器负责从原始图像获取局部特征，并且在训练阶段冻结权重；定义输入图像X∈RH×W×C，其中H和W分别是图像的高度和宽度,C为通道数；在特征预提取器中利用在Ms-Celeb-1M预训练的IR-50得到图像特征Ximg∈RN×D；通过训练的人脸Landmark检测器MobileFaceNet获取Landmark特征Xlmk∈RN×D，其中N为Token数量，D为特征维度；在训练过程中，对IR-50进行微调，同时保持MobileFaceNet的权重冻结，以保证正确的Landmark输出； S3.基于交叉注意力的剪枝处理：剪枝模块对于全局分支，将图像特征投影为2个特征向量Q'img∈RN×D,K′img∈RN×D对于局部分支将Landmark特征投影为3个特征向量Qlmk∈RN×D，Klmk∈RN×D，Vlmk∈RN×D： Q′img＝XimgWQ1,K′img＝XimgWK1 Qlmk＝XlmkWQ2，Klmk＝XlmkWK2，Vlmk＝XlmkWV2； 对Qlmk∈RN×D做全局平均得到 其中Avgpooling·表示沿空间维度做全局平均； 交换两个分支的Q向量，跨分支融合局部和全局的特征，对于全局分支，利用对于局部重要区域感知能力强的特性，学习局部区域的重要性： 其中Attn∈R1×N为局部感知注意力，作为每个Token的重要性度量，其中为归一化缩放因子； 所述步骤S1具体为： 在数据预处理阶段，对数据集的面部表情图像进行人脸检测和关键点对齐，并采用数据增强策略进行处理； 在所述步骤S2中，在全局分支的每个阶段，通过对于原始的Transformer编码器提取全局特征，通过三个线性层将输入特征投影： Q＝XimgWQ，K＝XimgWK,V＝XimgWV； 其中WQ,WK,WV∈RD×D； 随后多头注意力可通过如下公式计算： MHSAX[head1；...；headh]WO； 其中为归一化缩放因子，headi为每个头的自注意力输出，和分别为第i个头的Q、K和V投影矩阵，WO∈RD×D为输出权重矩阵，SA·是自注意力的计算结构，MHSA·是多头自注意力的计算结构； 通过多层感知机MLP和层归一化LayerNorm得到最终输出，通过ClsToken计算概率分布： Z′＝LayerNormX+MHSAX； Z＝MLPZ′＝GELUZ′W1W2； 其中Whead表示分类头的权重，MLP由两层全连接层组成，权重分别为W1和W2,为全局分支的最后一层Transformer输出的ClsToken，为局部分支的最后一层Transformer输出的ClsToken，output为最终分类概率； 在所述步骤S3中，为局部分支引入全局特征进行信息补偿： Zlmk＝MLPLayerNormZlmk+MHSAQ′img，Klmk，Vlmk； 其中Zlmk为交叉融合Transformer的输出； 通过利用Landmark的局部特性引导模型对token进行剪枝，舍弃不重要或干扰性的区域，增强FER性能，减少了计算开销；为了减少Token的数量以减少ViT架构的计算开销，利用Attn作为剪枝度量，取topk的索引作为保留的Token位置，其余位置Token丢弃： idx＝argsortAttn[0：k]； X′img＝Selcetidx,Z′img＝[timg,idx1，timg,idx2，…，timg,idxk,]； X′lmk＝Selcetidx,Z′lmk＝[tlmk,idx1,tlmk,idx2，...,tlmk,idxk，]； 其中Selcet·为选择函数，沿空间维度选择idx指定索引的token，timg，i∈R1×D，tlmk，i∈R1×D分别为X′img和X′lmk的i索引位置的单个Token。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。