买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉纺织大学申请的专利基于细粒度分析和知识蒸馏的多模态动作识别方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119516607B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411577593.8，技术领域涉及：G06V40/20；该发明授权基于细粒度分析和知识蒸馏的多模态动作识别方法和系统是由欧阳君;施霄;张自力设计研发完成，并于2024-11-06向国家知识产权局提交的专利申请。

本基于细粒度分析和知识蒸馏的多模态动作识别方法和系统在说明书摘要公布了：本发明涉及计算机视觉、深度学习、多模态行为分析领域，特别涉及一种基于细粒度分析和知识蒸馏的多模态动作识别方法和系统，该方法包括：对输入视频进行抽帧获取图像序列；对图像进行身体部位分割并结合文本描述输入CLIP模型，获取各部位的多模态特征；通过部位级别融合网络整合特征信息；结合可学习提示构建学生模型并进行知识蒸馏；对模型进行优化训练并输出动作识别结果。本发明很好地融合了细粒度视觉特征和语义信息，有效挖掘了动作中的关键模式，从而提升了动作识别的准确率。

本发明授权基于细粒度分析和知识蒸馏的多模态动作识别方法和系统在权利要求书中公布了：1.一种基于细粒度分析和知识蒸馏的多模态动作识别方法，其特征在于，包括以下步骤： S1：接收动作视频作为原始输入数据，对输入视频进行抽帧处理获取关键帧图像序列，将抽取的图像序列作为后续处理的输入数据； S2：教师模型首先对输入图像进行身体部位分割，将分割后的图像和自动生成的对应文本描述输入CLIP模型，获取每个身体部位的图像特征、文本特征和类别得分； 步骤S2的具体实现包括： S21：根据数据集标注获取输入图像的每个主要身体部位的边界框坐标，主要身体部位包括头部、左右胳膊、左右手臂、躯干、左右腿部、左右脚部，根据这些边界框坐标对原始图像进行裁剪，得到这十个身体部位子图像；将每个子图像进行大小调整，并保持3个颜色通道； S22：基于输入图像自动生成对应的文本描述，这个文本描述概括了图像中的动作内容，生成的文本描述遵循以下模板：{人物的[身体部位名称]在[动作名称]中[部位动作]}； S23：将预处理后的身体部位子图像和生成的文本描述分别输入到预训练的CLIP模型中得到每个身体部位的图像特征、文本特征和类别得分； S3：教师模型接着通过部位级别融合网络将S2中获得的各个身体部位的特征和得分进行整合，得到最终的教师图像特征、教师文本特征和教师类别得分； S4：学生模型将输入图像与可学习视觉提示连接，将自动生成的文本描述与可学习文本提示连接，输入CLIP模型获取学生图像特征、学生文本特征和学生类别得分； S5：利用知识蒸馏将教师特征与学生特征对齐以及教师类别得分与学生类别得分对齐，使学生模型学习教师模型的知识表示和分类能力； S6：结合知识蒸馏损失和分类任务损失，对学生模型进行联合优化； S7：利用优化后的学生模型对输入的动作视频进行分类，计算动作类别概率分布，根据计算得到的概率分布，确定并输出最可能的动作类别作为识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉纺织大学，其通讯地址为：430073 湖北省武汉市洪山区纺织路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。