买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏第二师范学院申请的专利基于双重跨模态注意力的表情运动单元检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120147358B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510634232.0，技术领域涉及：G06T7/20；该发明授权基于双重跨模态注意力的表情运动单元检测方法是由倪艺洋;臧玥昕;徐林林;李蕊;李勇;李骏;刘娅璇;夏文超设计研发完成，并于2025-05-16向国家知识产权局提交的专利申请。

本基于双重跨模态注意力的表情运动单元检测方法在说明书摘要公布了：本发明公开了一种基于双重跨模态注意力的表情运动单元检测方法，通过视觉编码器、局部感知注意力矩阵和图卷积网络获得精细化的多粒度视觉特征表示；利用多层次编码过程，先建模AU描述中单词间的语义关联，后建模不同AU描述之间的句子级的语义关联，有效挖掘AU描述中的丰富语义信息，显著增强AU文本特征的表达能力；设计了一种全局与局部协同的双重跨模态注意力策略，以实现视觉与文本模态深度交互，帮助模型更全面地理解视觉和文本模态之间的复杂语义关联，增强AU特征表示。最终，通过结合多粒度视觉特征和多层次文本特征，以及双重跨模态注意力的协同作用，构建了一个强大的深度学习框架，有效提升表情运动单元检测的性能。

本发明授权基于双重跨模态注意力的表情运动单元检测方法在权利要求书中公布了：1.基于双重跨模态注意力的表情运动单元检测方法，其特征在于，包括： 步骤1，获取包括图像数据和文本数据的多模态表情运动单元AU数据集D； 步骤2，构建多模态AU检测网络； 步骤3，将AU数据集D划分为训练集和验证集，对多模态AU检测网络进行训练和测试，获得多模态AU检测模型； 步骤4，利用多模态AU检测模型，实现AU检测； 所述多模态AU检测网络的构建步骤包括： 构建视觉编码器对图像数据进行特征提取，得到全局视觉特征； 构建N个参数独立的局部感知注意力矩阵，以全局视觉特征为输入，得到对应的N个局部视觉特征； 构建AU内部编码器，以文本数据为输入，得到单词级特征表示；对单词级特征表示进行池化操作，得到句子级特征表示；将句子级特征表示输入AU交互语义编码器，得到文本特征表示； 以全局视觉特征作为查询，文本特征表示作为键和值，利用跨模态注意力机制计算全局交互特征； 以局部视觉特征作为查询，文本特征表示作为键和值，利用跨模态注意力机制计算局部交互特征； 将全局交互特征、局部交互特征与局部视觉特征进行特征融合，得到融合特征； 对N个局部视觉特征执行全局平均池化操作，得到特征集合； 构建图神经网络，以每个AU的局部视觉特征作为图神经网络的节点，并定义任意两个节点之间的余弦相似度为图神经网络的边； 对图神经网络的每个节点，选择相似度最大的K个邻居节点，并通过图卷积聚合邻居节点信息，获取每个节点的精细化特征表示； 构建AU分类器，分别以融合特征以及节点的精细化特征表示作为输入，得到对应的预测概率； 采用带权重的非对称损失函数计算视觉编码器、图神经网络和AU分类器的损失；引入基于余弦相似度差异性损失函数，联合带权重的非对称损失函数，计算多模态AU检测网络的损失： ， ， ， 其中，、和分别表示第个AU的预测概率、真实值和损失权重，I表示单位矩阵，表示单词级特征表示中单词的数量，表示单词级特征表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏第二师范学院，其通讯地址为：211222 江苏省南京市溧水区石湫街道新河西路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。