买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉陕西科技大学申请的专利一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119399809B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411369738.5，技术领域涉及：G06F30/27；该发明授权一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法是由陈海丰;唐佩;李健;李溪;常亚珂;索伊凡设计研发完成，并于2024-09-29向国家知识产权局提交的专利申请。

本一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法在说明书摘要公布了：本发明公开了一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法，包括以下步骤；步骤1：基于AU先验位置设计多模态共享的AU提示AU‑prompt和注意力掩码，所述AU‑prompt包含多个可学习的token，所述注意力掩码根据不同AU面部肌肉变化的先验位置进行设计，得到特定的AU注意力掩码；步骤2：在多模态提示学习的过程中，将特定AU的注意力掩码引入CLIP模型文本和图像编码器的不同层进行提示学习，同时学习AU局部细节特征和不同AU间全局关联特征，得到局部特征和全局特征；步骤3：将局部特征和全局特征进行融合，并与文本特征计算损失，最终实现AU识别。本发明能够在标注数据有限的情况下，有效地识别面部动作单元。

本发明授权一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法在权利要求书中公布了：1.一种基于CLIP和多模态掩码提示学习的面部动作单元识别的方法，其特征在于，包括以下步骤； 步骤1：基于AU先验位置设计多模态共享的AU提示AU-prompt和注意力掩码，所述AU-prompt包含多个可学习的token，所述注意力掩码根据不同AU面部肌肉变化的先验位置进行设计，得到特定的AU注意力掩码； 步骤2：在多模态提示学习的过程中，将特定AU的注意力掩码引入CLIP模型文本和图像编码器的不同层进行提示学习，同时学习AU局部细节特征和不同AU间全局关联特征，得到局部特征和全局特征； 步骤3：将局部特征和全局特征进行融合，并与文本特征计算损失，最终实现AU识别； CLIP的文本编码器采用基于自注意力机制的Transformer模型，图像编码器是VisionTransformer架构； 若文本编码器T有G个transformer层在prompt微调的过程中，只在前J层J≤G中添加可学习的文本并与前一层文本特征词向量Wi-1进行拼接送入transformer块Ti，则可得到每一层transformer的文本输入为： 文本编码器的后续层不再添加可学习的prompt，仅使用前一层和词向量Wj-1的输出，计算过程如下： 同样的图像编码器V有G个transformer层则可得到图像编码器中每一层transformer的输入为： 其中ci-1是捕获前一层图像信息的特征向量，Ei-1是前一层图像特征向量，是视觉分支中前一层加入的提示向量； 所述步骤2多模态掩码提示学习具体为： 在视觉transformer的前几层将注意力掩码与图像特征进行拼接；利用注意力机制使模型只关注图像中未被遮挡区域的信息，使模型在视觉transformer的前几层只关注AU的特定区域，从而学习到AU局部特征，后几层去掉掩码，利用全局信息提高AU识别的效果； 设定Mi-1是图像编码器V前一层中引入的AU注意力掩码，则注意力掩码层的输入输出表示为： 在第L层时得到捕获AU局部信息的特征向量cL，在L层之后去掉局部注意力掩码，在全局注意力掩码下进行prompt微调，利用全局信息提高AU识别的效果： 在后续transformer层中处理前一层的图像特征Ej-1和提示的输出信息提取AU的全局特征：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人陕西科技大学，其通讯地址为：710021 陕西省西安市未央区大学园区陕西科技大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。