买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工商大学申请的专利一种多模态融合的小样本舞蹈动作识别方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115661561B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210767390.X，技术领域涉及：G06V10/774；该发明授权一种多模态融合的小样本舞蹈动作识别方法及装置是由王勋;郑鹏;董建锋;刘宝龙;郑天一;杨文武设计研发完成，并于2022-06-30向国家知识产权局提交的专利申请。

本一种多模态融合的小样本舞蹈动作识别方法及装置在说明书摘要公布了：本发明公开了一种多模态融合的小样本舞蹈动作识别方法及装置，提出使用基于视频预览指导的多模态数据融合的方法，将多模态数据的特征学习方式应用至小样本舞蹈动作识别任务中，并通过不同模态数据交汇融合的方式，缓解了小样本领域因数据量过少而导致的识别困难问题。相较于传统小样本动作识别方法，本方法利用多模态信息，有效解决了rgb单模态数据在视频动作识别时性能不够鲁棒的问题；此外，使用的视频预览指导多模态数据融合的方法，加强了模型在各模态空间中的语义提取能力。相较于传统小样本动作识别方法，本发明所提出的方法识别性能更强，利用视频信息特征更充分，更适应于小样本舞蹈动作识别任务。

本发明授权一种多模态融合的小样本舞蹈动作识别方法及装置在权利要求书中公布了：1.一种多模态融合的小样本舞蹈动作识别方法，其特征在于，包括以下步骤： S1，利用多模态动作识别数据集，预训练不同模态的特征提取器，并使用不同模态的特征提取器提取对应不同模态的逐帧特征信息； S2，使用所述步骤S1的不同模态的逐帧特征信息，训练基于视频预览指导的多模态动作特征融合器；所述步骤S2具体为： S21，将视频帧的顺序作为Transformer网络所需的位置编码，使用Transformer网络从所述步骤S1的不同模态的逐帧特征信息中提取时序特征，得到不同模态的视频时空语义特征，其中，不同模态包括rgb模态和非rgb模态，非rgb模态包括骨架热力图模态、深度模态和红外模态； S22，通过对rgb模态的视频时空语义特征做池化处理，得到rgb模态的单模态动作特征； S23，对非rgb模态的视频时空语义特征各自添加模态嵌入和时序嵌入并相互进行拼接，得到多模态不含rgb时空语义特征； S24，利用多模态Transformer网络融合多模态不含rgb时空语义特征，得到初步多模态不含rgb融合时空语义特征； S25，使用基于视频预览的Transformer网络，对作为指导的rgb模态的视频时空语义特征和初步多模态不含rgb融合特征进行融合，得到多模态融合时空语义特征； S26，将多模态融合时空语义特征进行池化处理，得到多模态动作特征； S27，利用线性层和Softmax层，对rgb模态的单模态动作特征和多模态动作特征进行分类，得到视频动作预测结果； S28，使用交叉熵损失函数，计算视频动作预测结果和真实标签的损失，以训练多模态动作特征融合器； S3，基于特征提取器和多模态动作特征融合器，构建多模态动作特征提取器； S4，利用多模态动作识别数据集，基于多模态动作特征提取器训练小样本舞蹈动作识别模型； S5，利用训练好的小样本舞蹈动作识别模型进行小样本舞蹈动作识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工商大学，其通讯地址为：310018 浙江省杭州市下沙高教园区学正街18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。