买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种用于自然手势识别的多模态渐进式层级融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116028889B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310052453.8，技术领域涉及：G06F18/25；该发明授权一种用于自然手势识别的多模态渐进式层级融合方法是由陈勋;段声才;吴乐;刘爱萍设计研发完成，并于2023-02-02向国家知识产权局提交的专利申请。

本一种用于自然手势识别的多模态渐进式层级融合方法在说明书摘要公布了：本发明公开了一种用于自然手势识别的多模态渐进式层级融合方法，包括：1获取多模态数据并进行预处理和特征提取；2构建多模态渐进式层级融合深度学习网络，包括并行的用于提取单模态特征CNN子网络和融合不同模态层级特征的Transformer子网络；3构建模态缺失检测模块和决策层后处理机制；4分别在不同的CNN子网络和Transformer子网络的决策层之间引入KL散度损失函数，并各子网络的联合交叉熵损失函数训练模型，获得最终的自然手势识别模型。本发明提升了手势识别的鲁棒性，同时保证对多模态信息完全和不完全样本的识别性能，从而能促进基于手势的人机交互系统的推广应用。

本发明授权一种用于自然手势识别的多模态渐进式层级融合方法在权利要求书中公布了：1.一种用于自然手势识别的多模态渐进式层级融合方法，其特征在于，包括以下步骤： 步骤1、获取多模态手势数据集及其手势类别标签集合，并对多模态手势数据集进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，表示稀疏通道的表面肌电信号，表示加速度计信号； 步骤1.1、数据预处理： 对表面肌电信号和加速度计信号分别进行滤波、归一化和活动段滑窗分割，得到包含个原始肌电信号样本的肌电信号样本集合和包含个加速度计信号样本的加速度计信号样本集合； 步骤1.2、特征提取： 使用时频域方法提取肌电信号样本集合中每一个原始肌电信号样本的时频域特征图，得到包含个肌电信号特征图样本的肌电信号训练集；其中，表示任意第i个肌电信号特征图样本；和分别表示肌电信号特征图样本的单通道特征维度和通道数；令的手势类别标签为； 使用时域方法提取加速度计信号样本集合中每一个加速度计信号样本的时域特征图，得到包含个加速度计信号特征图样本的加速度计信号训练集；其中，表示任意第i个加速度计信号特征图样本；和分别表示加速度计信号特征图样本的单通道特征维度和通道数；令的手势类别标签也为； 步骤1.3、构建含多模态信号特征图样本的训练集，其中，表示肌电信号训练集和加速度计信号训练集中信号特征图样本的手势类别标签集合，且包含种手势类别； 步骤2、构建多模态渐进式层级融合深度学习网络，包括：并行的三个子网络，分别是单模态CNN子网络、单模态CNN子网络和混合模态Transformer子网络；每个子网络包括：特征提取模块和模式识别模块； 步骤2.1：将第个肌电特征图样本输入到单模态CNN子网络中，并经过特征提取模块的处理后，得到降维后的单模态特征 所述降维后的单模态特征输入单模态CNN子网络中的模式识别模块中进行处理后，输出单模态CNN子网络的分类结果向量； 步骤2.2：将第i个加速度计信号特征图样本输入单模态CNN子网络中，并经过所述特征提取模块的处理后，输出降维后的单模态特征； 所述降维后的单模态特征输入单模态CNN子网络的模式识别模块中进行处理后，输出单模态CNN子网络的分类结果向量； 步骤2.3：由混合模态Transformer子网络中的特征提取模块得到多模态层级融合特征，再输入对应的模式识别模块中进行处理后，输出混合模态Transformer子网络的分类结果向量； 步骤3、构建模态缺失检测模块和决策层后处理机制； 步骤3.1、所述模态缺失检测模块计算第i个肌电信号特征图样本的统计值，并判断第i个肌电信号特征图样本的统计值是否不存在，若存在，则执行步骤4.2；否则，表示模态缺失，并用同等尺寸大小的零样本代替； 步骤3.2、判断第i个肌电信号特征图样本的统计值与的统计值均值之间的差值是否超过所设定的阈值，若超过，则表示第i个肌电信号特征图样本异常，并用同等尺寸大小的零样本代替； 步骤3.3、按照步骤3.1和步骤3.2的过程对第i个加速度计信号特征图样本进行处理； 步骤3.4：决策层后处理机制： 当模态缺失检测模块判定两种模态均存在时，最终的分类结果向量为； 当模态缺失检测模块判定ACC模态缺失，仅存在模态时，最终的分类结果向量为； 当模态缺失检测模块判定模态缺失，仅存在ACC模态时，最终的分类结果向量为； 步骤4、网络训练： 步骤4.1、利用sofmax函数对任意一子网络的分类结果向量进行归一化，得到归一化的分类结果向量，用于构建相应子网络的叉熵损失，得到单模态CNN子网络的交叉熵损失、单模态CNN子网络的交叉熵损失和融合层级特征的Transformer子网络的交叉熵损失； 步骤4.2、利用单模态CNN子网络的分类结果向量与融合层级特征的Transforme子网络的分类结果向量构建所述单模态CNN子网络与混合模态Transformer子网络之间的KL散度损失函数； 利用单模态CNN子网络的分类结果向量与融合层级特征的Transformer子网络的分类结果向量构建单模态CNN子网络与混合模态Transformer子网络之间的KL散度损失函数；使得单模态信号的分类结果的分布向多模态分类结果的分布对齐； 步骤4.3、基于训练集，利用Adam方法对多模态混合融合模型进行训练，并计算总损失函数=，直到总损失函数收敛为止，从而得到训练好的自然手势分类模型用于对任意一种多模态手势数据进行手势识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。