西南科技大学张红英获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西南科技大学申请的专利一种融合注意力机制的口罩遮挡人脸检测与识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115497139B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211188477.8,技术领域涉及:G06V40/16;该发明授权一种融合注意力机制的口罩遮挡人脸检测与识别方法是由张红英;叶子勋设计研发完成,并于2022-09-28向国家知识产权局提交的专利申请。
本一种融合注意力机制的口罩遮挡人脸检测与识别方法在说明书摘要公布了:本发明给出一种融合注意力机制的口罩遮挡人脸检测与识别方法,首先,该网络改进了SwinTransformer用于人脸特征的提取;其次,提出了一种人脸器官注意力机制FOA,使模型聚焦于未被口罩遮挡的人脸器官;然后,针对当前口罩遮挡人脸数据集不充分的问题,提出了一种采用三维人脸网格生成添加口罩遮挡的数据增强方法。最后,针对模型参数量庞大的问题,提出了一种采用知识蒸馏压缩模型的方法。此方法较好地平衡了速度与精度,实现了口罩遮挡人脸检测与识别的优异性能,具有广泛的适用性。
本发明授权一种融合注意力机制的口罩遮挡人脸检测与识别方法在权利要求书中公布了:1.一种融合注意力机制的口罩遮挡人脸检测与识别方法,其特征在于,采用人脸器官注意力机制FOA,使模型聚焦于未被口罩遮挡的人脸器官,包括对无遮挡人脸数据集进行添加虚拟口罩的数据增强处理、对人脸图像进行特征提取与融合、对提取的人脸特征进行局部器官关注、使用知识蒸馏压缩模型的参数量、网络训练与测试五个部分, 第一部分包括两个步骤: 步骤1,下载公开人脸识别数据集,此时的数据集包含的都是正常的无遮挡人脸,接下来使用人脸关键点检测算法提取人脸的468个关键点,并从中筛选出五个关键点的坐标进行仿射变换,将人脸对齐并裁剪得到原始样本; 步骤2,建立一种添加虚拟口罩遮挡的数据增强器,该数据增强器获取步骤1中得到的468个人脸关键点坐标,从468个人脸关键点坐标中按照索引筛选会被口罩遮挡的下半部分关键点,并根据这些关键点进行Delaunay三角剖分将人脸划分了多个网格;对各种样式的口罩同样进行三角剖分得到与原始样本人脸位置对应的网格;逐网格的将口罩进行仿射变换映射到人脸对应位置的网格上,最终将经过数据增强后的人脸输入到网络中作为训练样本; 第二部分包括两个步骤: 步骤3,将步骤2得到的训练样本输入到改进后的SwinTransformer主干特征提取后得到人脸的初步提取特征图I; 步骤4,对步骤3得到的初步提取特征图传入到后续的人脸器官注意力机制FOA中对未被口罩遮挡的人脸器官进行重点关注,具体见第三部分; 第三部分包括四个步骤: 步骤5,将步骤3中的初步提取特征图转换为三维特征图后设置池化核尺度为Kh,步长为Sh沿着水平方向进行平均池化,池化核尺度为Kw,步长为Sw沿着垂直方向进行平均池化,分别得到浓缩特征其中Windowsize代表特征图将被划分的窗口数,使用符号来描述特征图的尺度大小,H、W、C分别代表特征图的高、宽以及通道数; 步骤6,将步骤5得到的浓缩特征Wavg和Havg进行拼接得到M,设定一个超参数r,使M经过1×1的2维卷积之后得到特征层M1,接下来插入一个BN层和GELU激活函数得到特征层M2,此时的M2同时具备了输入特征G在x轴和y轴上的浓缩特征; 步骤7,将步骤6中混合了空间位置信息的M2进行分割后进行转置,再次通过1×1的2维卷积之后变回通道数为c的W′、H′,这两个特征层的参数代表了空间上的权重,最后将W′、H′与G矩阵对应位置元素进行相乘得到G′,也就是将空间上的权重叠加在输入特征层中; 步骤8,将FOA注意力加在了TransformerLayer中,使用后续的联合损失函数监督模型自适应地调整窗口权重; 第四部分包括两个步骤: 步骤9,训练出一个参数量较大的教师模型,embed_dim为96,再将此教师模型的输出与学生模型,embed_dim为48,计算余弦距离得到余弦损失以指导学生模型的输出特征向量近似教师模型的输出特征向量; 步骤10,在训练学生模型时加上步骤9得到的余弦损失以指导学生模型的输出特征向量近似教师模型的输出特征向量; 第五部分包括两个步骤: 步骤11,调试从步骤3到步骤10的网络结构超参数,其中,设置最小批次为64,总epoch为20,并使用了patience为4,初始学习率为10-3的Adam优化器按步骤3到步骤10对模型进行训练,并得到最终的教师模型与学生模型; 步骤12,将测试集输入步骤11中的训练模型中,对方法在无遮挡人脸数据集LFW、虚拟口罩遮挡人脸识别数据集MLFW与真实口罩遮挡数据集MWHN上分别进行验证。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西南科技大学,其通讯地址为:621010 四川省绵阳市青龙大道中段59号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。