买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于多模态频域蒸馏的跨域小样本自我动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121545229B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610069931.X，技术领域涉及：G06V40/20；该发明授权一种基于多模态频域蒸馏的跨域小样本自我动作识别方法是由郭洁;焦舒畅;何旭旭;宋彬设计研发完成，并于2026-01-20向国家知识产权局提交的专利申请。

本一种基于多模态频域蒸馏的跨域小样本自我动作识别方法在说明书摘要公布了：本发明公开了一种基于多模态频域蒸馏的跨域小样本自我动作识别方法，涉及计算机视觉技术领域。该方法包括：获取目标域的手部动作视频的RGB帧序列，目标域的手部动作视频是指一个手部使用场景下的手部动作视频；对RGB帧序列进行预处理，得到预处理后的RGB帧序列；将预处理后的RGB帧序列输入训练好的单模态学生网络以进行RGB帧序列中包含的手部动作的分类，得到分类得分，其中，训练好的单模态学生网络是利用多模态教师网络与单模态学生网络的蒸馏训练机制，同时结合频域特征增强和边界增强蒸馏的方式训练得到的；对分类得分进行归一化处理，得到动作类别预测结果。本发明能够提高蒸馏效率与泛化性能。

本发明授权一种基于多模态频域蒸馏的跨域小样本自我动作识别方法在权利要求书中公布了：1.一种基于多模态频域蒸馏的跨域小样本自我动作识别方法，其特征在于，包括： 获取目标域的手部动作视频的RGB帧序列，其中，所述目标域的手部动作视频是指一个手部使用场景下的手部动作视频； 对所述RGB帧序列进行预处理，得到预处理后的RGB帧序列； 将所述预处理后的RGB帧序列输入训练好的单模态学生网络以进行所述RGB帧序列中包含的手部动作的分类，得到分类得分，其中，所述训练好的单模态学生网络是利用多模态教师网络与单模态学生网络的蒸馏训练机制，同时结合频域特征增强和边界增强蒸馏的方式训练得到的； 对所述分类得分进行归一化处理，得到动作类别预测结果； 所述训练好的单模态学生网络的训练方法包括： S1、利用未带标签的目标域数据集和带标签的源域数据集，联合训练初始的多模态教师网络，得到训练好的多模态教师网络；所述目标域数据集包含多个第一样本，每个第一样本是第一手部使用场景下的一个手部动作视频的RGB帧序列、光流特征、手部关节姿态图构成的一条多模态数据；所述源域数据集包含多个第二样本，每个第二样本是第二手部使用场景下的一个手部动作视频的RGB帧序列、光流特征、手部关节姿态图构成的一条多模态数据；所述第一手部使用场景和所述第二手部使用场景是不同的场景； S2、利用所述训练好的多模态教师网络构建初始单模态学生网络，所述初始单模态学生网络包括初始的目标RGB编码器和多层感知机，所述初始的目标RGB编码器的输出与所述多层感知机的输入连接，所述初始的目标RGB编码器是所述训练好的多模态教师网络中的训练好的RGB编码器； S3、利用所述目标域数据集和所述训练好的多模态教师网络对所述初始单模态学生网络进行蒸馏训练，并在每次训练过程中，对所述训练好的多模态教师网络生成的多模态特征执行小波变换以进行频域分解得到多尺度频率分量，基于可学习缩放因子分别调整多尺度频率分量之后再执行逆小波变换获得全局频域增强特征，并对所述训练好的多模态教师网络生成的多模态特征进行空间域处理，得到局部空域特征，基于全局频域增强特征和局部空域特征以及单模态学生网络生成的多模态特征，计算所述训练好的多模态教师网络与单模态学生网络的多模态特征之间的关系差异，并基于所述训练好的多模态教师网络的分类不确定性生成样本加权因子以计算边界增强蒸馏损失，并反向传播更新单模态学生网络中的目标RGB编码器的参数，在完成对所述初始单模态学生网络的蒸馏训练后，得到训练好的目标RGB编码器； S4、利用所述训练好的目标RGB编码器和初始的分类器构建新的初始单模态学生网络； S5、获取所述目标域数据集的标签，并利用带标签的所述目标域数据集中的部分第二样本分别构建支持集和查询集； S6、采用所述支持集和所述查询集训练所述新的初始单模态学生网络中的分类器，并在完成分类器的训练后，得到所述训练好的单模态学生网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。