买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江财经大学申请的专利一种基于多任务协同网络的人脸解析和情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116563908B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310204150.3，技术领域涉及：G06V40/16；该发明授权一种基于多任务协同网络的人脸解析和情感识别方法是由宋海裕;王浩宇设计研发完成，并于2023-03-06向国家知识产权局提交的专利申请。

本一种基于多任务协同网络的人脸解析和情感识别方法在说明书摘要公布了：本发明公开了一种基于多任务协同网络的人脸解析和情感识别方法。本发明步骤如下:1、实验数据的预处理；2、构建MPENet网络模型；步骤2.1采用ResNet18作为编码器的主干网络，提取输入图片的语义信息；步骤2.2构建边缘感知分支，并在边缘感知分支中添加细节感知模块DPM和特征融合模块FFM；步骤2.3构建分割分支，用于输出人脸解析的结果，并监督人脸解析；步骤2.4构建分类分支，用于人脸情感识别；3、利用任务间一致性学习损失函数和任务内损失函数对MPENet进行训练；4、采用训练好的MPENet网络模型进行实验，在CelebAMask_HQ数据集上验证模型效果。本发明将人脸解析和人脸情感识别集成在一个网络，具有很高的实时性和精确度，可以部署到移动端等设备上。

本发明授权一种基于多任务协同网络的人脸解析和情感识别方法在权利要求书中公布了：1.一种基于多任务协同网络的人脸解析和情感识别方法，其特征在于包括如下步骤： 步骤1、实验数据的预处理；所述实验数据为人脸图像数据； 步骤2、构建MPENet网络模型； 步骤2.1采用ResNet18作为编码器的主干网络，提取输入图片的语义信息； 步骤2.2构建边缘感知分支，并在边缘感知分支中添加细节感知模块DPM和特征融合模块FFM； 步骤2.3构建分割分支，用于输出人脸解析的结果，并监督人脸解析； 对于编码器ResNet18的第五层特征，设计有一个五层相同结构的解码器，每一个解码器由3×3卷积层和上采样构成，经过五层相同结构的解码器，输入特征恢复到原始分辨率，即得到监督的人脸解析结果 对于编码器ResNet18的第五层特征，先进行8倍上采样得到特征Y2，然后将边缘感知分支中经过最后一个细节感知模块DPM的特征Y1与8倍上采样后的特征Y2一起送入双图自适应学习模块DGALM，经过DGALM的特征再经过一个SegHead即可得到最终的人脸解析结果； 双图自适应学习模块的结构如下： ①将特征Y1与特征Y2进行拼接，拼接后的特征分别经过两个1×1的卷积，得到语义特征图Zsemantic和细节特征图Zdetail；在边界感知分支中，获得二分类人脸边界然后将缩放到原来尺寸的14，再然后利用二分类人脸边界，将Zsemantic和Zdetail区分为边界像素和非边界像素，具体公式如下所示： [Zdetail_edge,Zdetail_noneedge]＝Zdetail⊙[Mask,A-Mask] [Zsemantic_edge,Zsemantic_noneedge]＝Zsemantic⊙[Mask,A-Mask] 其中，⊙代表了矩阵点乘，Zdetail_noneedge是不包含边界像素的细节特征图，Zdetail_edge是包含边界像素细节特征图；Zsemantic_noneedge是不包含边界像素的语义特征图，Zsemantic_edge是包含边界像素语义特征图；A是只包含元素1的矩阵；argmaxdim＝2表示沿特征第二维度方向，获得最大值的索引； ②在分割分支中获得人脸监督解析的结果然后将缩放到原来尺寸的14，从中选取Topk元素作为人脸组成成分，代表图的顶点； 其中，Zgraph_semantic是人脸语义组成成分、Zgraph_detail是人脸细节组成成分、Zsemantic_noneedge是不包含边界的语义特征图、Zdetail_edge是包含边界的细节特征图、C是特征的通道数； ③经过一层图卷积进行图推理，得到和 ④构建映射矩阵P1和P2，将特征映射到原来的几何空间中,具体实现如下： ⑤将经过映射矩阵的转置与图推理后的特征相乘，将特征映射回原来的几何空间,最终的特征输出结果为Xout； 其中，表示映射回原几何空间的语义特征图；表示映射回原几何空间的细节特征图；表示特征拼接操作； 步骤2.4构建分类分支，用于人脸情感识别； 步骤3、训练MPENet网络模型； 包括构建任务内损失函数，具体实现如下: 3-1-1.分割分支的损失函数，主要包含了监督人脸解析的损失SegTrue和输出人脸解析的损失SegPre，使用交叉熵损失函数，具体如下： 3-1-2.构建边界感知分支的损失函数，使用交叉熵损失函数，具体如下： 3-1-3.构建人脸情感识别的损失函数，使用交叉熵损失函数，具体如下： 3-1-4.总的任务内损失函数为： 其中，λ0、λ1和λ2是比例系数； 还包括构建任务间一致性损失函数，具体实现如下： 3-2-1.首先保持的0号通道不变，计算出 Seg2-joint-3代表了二分类人脸边界； 3-2-2.利用dice系数计算二分类边界任务与多分类边界任务之间的任务一致性损失函数； 3-2-3.计算二分类边界任务、多分类边界任务和人脸解析任务之间的一致性损失函数； 1首先沿着的第二维度方向，获得最大值的索引，得到了 2然后使用边界定位算法，对于中位于边界的像素点赋值为1，其他非边界像素点赋值为0；将与相乘，即可以得到 3计算出 4利用dice系数分别计算解析任务与二分类边界任务之间的任务一致性损失函数、解析任务和多分类边界任务的一致性损失函数，具体为： 5总的任务间一致性损失函数为: 步骤4、采用训练好的MPENet网络模型在多个人脸解析数据集上进行实验，并对实验结果进行评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江财经大学，其通讯地址为：310018 浙江省杭州市下沙高教园区学源街18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。