买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南昌大学申请的专利一种融合人脸表情与行为步态数据的帕金森智能评估方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119477800B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411433559.3，技术领域涉及：G06T7/00；该发明授权一种融合人脸表情与行为步态数据的帕金森智能评估方法是由庞孟;徐寅轩;周崟涛;李正宇;黄静;黄伟设计研发完成，并于2024-10-15向国家知识产权局提交的专利申请。

本一种融合人脸表情与行为步态数据的帕金森智能评估方法在说明书摘要公布了：本发明涉及数据处理技术领域，特别涉及一种融合人脸表情与行为步态数据的帕金森智能评估方法，包括三个步骤：第一，对帕金森病患者的行为步态视频进行数据清洗，并使用YOLOv8模型将患者从视频中分割出来，再利用HRNet提取骨骼关键点，使用STGCN++获取特征；第二，使用StyleGAN生成保留患者身份信息的病前图像，将训练多个深度学习模型用于将收集到的每人的六种基本情绪的面部表情图像进行面部表情分类，并使用效果最好的预训练模型，用于提取患者面部表情的特征；第三，将提取到的步态特征和面部表情特征进行多模态特征融合，用于帕金森病预测。本发明方法显著提高了诊断的准确性，减少漏诊误诊的问题。

本发明授权一种融合人脸表情与行为步态数据的帕金森智能评估方法在权利要求书中公布了：1.一种融合人脸表情与行为步态数据的帕金森智能评估方法，其特征在于，包括以下步骤： S1、基于骨骼关键点的行为步态特征提取： 采用YOLOv8的追踪分割模型，对视频中的患者进行追踪，并用蒙版分割出只包含PD患者的行为步态的视频；YOLOv8分割检测任务包括分割相关的损失和通过继承了目标检测任务的分类损失，和矩形框回归损失，即CIoUloss和DFL； S1.1、CIoU损失：采用WGAN-GP模型中的对抗损失来代替StarGAN模型中的原始对抗损失，对抗损失函数如下所示： 其中IoU为预测边界框和真实边界框的交并比；ρb，bg为预测边界框中心点和真实边界框中心点之间的欧氏距离；c为包围预测边界框b和真实边界框bg的最小矩形框的对角线长度；α为一个调节参数，用于平衡IoU损失和中心点距离损失的权重；v为长宽比损失，定义为： S1.2、DFL定义为： 其中和是模型预测的两个相邻离散点的概率分布，yi和yi+1是真实边界框的回归目标值，y是模型预测的边界框回归值； S1.3、分类损失和分割损失：分类损失和分割损失都是用的是BCEWithLogitsLoss，分割损失主要是预测分割区域与groundtruth分割区域进行逐像素的计算二元交叉熵损失，BCEWithLogitsLoss定义为： 其中lbn，c是第b个批次、第n个样本、第c类的边界框分类损失，c1表示多标签二元分类、c＝1用于单标签二进制分类；pc是第c类的真实标签；ybn,c是第个b批次、第n个样本的第c类的真实标签，取值为0或1；xbn，c是模型输出的第个b批次、第个n样本、第c类的预测得分；logσxbn，c是使用sigmoid函数将xbn，c预测得分转换为概率值；wbn，c是一个权重因子，用于控制不同类别或者不同样本的损失权重； 最后将上面的计算的四个loss进行加权求和，获得总损失lall，定义为： lall＝w1lCloU+w2lDFL+w3lclass+w4lseg5 其中lCloU为IoUloss，lDFL为DFL损失，lclass为分类损失，lseg为分割损失； 在获得了经过追踪分割提取后获得只包含帕金森病患者步视频片段的数据后，采用基于骨骼关键点的行为步态特征提取方法；第一部分是使用HRNet将视频片段提取为骨骼关键点数据，HRNet所使用的损失函数为MSE，MSE定义为： 其中n是样本数量，hi是第i个样本的真实目标值，是第i个样本的预测值；并且使用OKS作为评估指标，OKS定义为： 其中i表示第i个关键点，表示第i个关键点的预测坐标与真实坐标之间的欧氏距离，s表示图像的尺度，通常为人体的高度或宽度，表示第个关键点的scale-adaptive缩放因子，用于平衡不同关键点的重要性，vi表示第i个关键点的可见性标记； 第二部分是利用提取到的骨骼关键点通过效果优异的STGCN++网络进行特征提取； S2、基于生成对抗网络合成面部表情并进行特征提取： 使用StyleGAN来合成PD患者在病前状态下的虚拟面部表情图像； S2.1、StyleGAN生成潜向量：采用一个预训练的StyleGAN生成器与一个编码器网络组合；在训练过程中，编码器网络的参数通过一个精心设计的相似性损失函数进行微调，该损失函数是VGG-16感知损失和每像素均方误差MSE损失的加权组合，该损失函数的定义如下： 其中c表示目标潜在向量，I0表示输入图像，G表示预训练的StyleGAN生成器，N表示图像像素的总数，λmse是一个权重超参数；感知损失Lpercept使用预训练的VGG网络来衡量原始图像I0和合成图像Gc之间的感知差异；这个感知损失定义如下： 其中Cj·表示VGG-16网络第j个卷积层的特征映射输出，k表示卷积层的总数，Nj表示第j个卷积层特征映射中的像素总数，λj是一个权重超参数； S2.2、StyleGAN计算面部表情方向向量：获得共享一致身份信息但表现不同面部表情A和B的潜在向量； 随后，计算从表情A到表情B的过渡方向向量，具体而言，首先获得表情A和B的潜在向量集合，分别记为labelA和labelB，并分别给它们赋予标签latentA＝0和latentB＝1；然后构建映射函数其中视为从表情A到表情B的法向量，而项1-2labelx用于控制方向； 接下来，构建一个逻辑回归模型P＝σf来输出预测的类别标签概率，其值在[0,1]之间，并通过优化二元交叉熵BCE损失来确定能够操纵从A到B过渡的法向量这个为所需的方向向量nAB； 同样地，通过采用上述计算算法，获得多个面部表情状态之间的方向向量，从而能够在保留身份的前提下合成不同类型的面部表情； S2.3、多表情合成与深度特征提取：根据步骤S2.2中描述的方法，成功地获得多个具有控制不同面部表情能力的方向向量；面部表情生成的过程形式化如下： 其中Genc和Gdec分别表示G的编码器和解码器，I表示具有表情A的面部图像，I′表示同一个人具有表情B的图像，是从表情A到B的方向向量，λ控制表情变化的程度； 通过采用上述面部表情合成方法，能够从帕金森病患者单一中性面部表情图像中生成表示六种基本情绪的面部表情图像，捕捉到疾病发作前的表情；这些图像将作为对照组，用于构建增强的帕金森病面部表情训练数据集；随后，在这个扩展的训练数据集上使用深度学习模型来训练判别模型；最后，将模型作为特征提取器并以六张不同表情的人脸图像为输入，以训练好的表情分类器作为预训练模型，进行模型参数微调，得到面部表情的图像特征； S3、多模态特征融合： 利用前两个步骤中找到的合适的步态视频数据处理方法和特征提取模型，以及面部表情特征提取模型，获取到步态特征和面部表情特征，为了便于后续的特征融合，通过两个全连接层，将步态特征和面部表情特征的维度统一到m维，具体方式如S3.1、S3.2或S3.3： S3.1、特征级融合：在特征提取阶段，我们直接将m维的步态特征和m维的面部表情特征拼接成一个2*m维的高维特征向量，然后通过一个全连接层输出一个二维特征向量； S3.2、决策级融合：我们将步态特征和面部表情特征分别通过加权平均等方式进行融合，分别给予两种模态w1和w2的权重，得到一个m维的融合特征向量；然后再通过一个全连接层输出一个二维特征向量； S3.3、混合级融合：我们将两种模态特征分别输入全连接层，得到各自的分数；然后将这两个分数拼接成m+1维的融合特征，最后输入到同一个全连接层中进行模型训练，输出两个二维特征，并将其相加得到最终的结果； 最后使用迁移学习的方法，将两种模态的特征通过全连接层进行融合，最后输出一个由两个元素组成的向量，分别表示PD和非PD的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南昌大学，其通讯地址为：330031 江西省南昌市红谷滩新区学府大道999号南昌大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。