买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国石油大学(华东)申请的专利一种基于多模态特征融合与微调的微姿态识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120220244B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510377218.7，技术领域涉及：G06V40/20；该发明授权一种基于多模态特征融合与微调的微姿态识别方法是由刘玉杰;王一雯;李鹏霞;董振阳设计研发完成，并于2025-03-28向国家知识产权局提交的专利申请。

本一种基于多模态特征融合与微调的微姿态识别方法在说明书摘要公布了：本发明公开了一种基于多模态特征融合与微调的微姿态识别方法，涉及计算机视觉与动作识别领域。其特征在于，提出了一种通用的跨模态知识融合框架，利用视频、骨架和文本三种模态信息，通过微调网络分别提取多模态特征。同时，引入视频‑骨架与文本‑骨架融合模块，以增强模态间的交互性。采用对比学习对齐特征分布，并结合冻结‑微调策略优化模型训练，降低计算复杂度，提高识别效率。本发明提供的方法能够弥补单模态信息缺失问题，增强对微小姿态变化的感知能力，提高识别精度与鲁棒性，适用于行为监测、人机交互、安全防护等多个应用场景。

本发明授权一种基于多模态特征融合与微调的微姿态识别方法在权利要求书中公布了：1.一种基于多模态特征融合与微调的微姿态识别方法，包括如下步骤： 步骤1、对多模态数据进行采样和预处理； 步骤2、构建微姿态识别模型，微姿态识别模型包括多模态编码器和跨膜态融合模块； 所述步骤2的具体过程为： 步骤2.1、构建多模态编码器分支网络； 基于CLIP的视觉Transformer构建视频编码器、基于CLIP的Transformer构建文本编码器和基于CTR-GCN的构建骨架编码器； 步骤2.2、构建视频-骨架融合模块； 视频-骨架融合模块采用了单层Transformer架构，对于通过视频编码器得到的视频特征，提取其中的全局类令牌，令牌的维度为T,C，其中T表示时间步数，C为视频编码器输出的通道数，对于经过骨架编码器处理后的骨架特征，得到的特征维度为T,C’,N，其中T表示时间步数，C’为图卷积网络输出的通道数，N为关节点的维度，将骨架特征在通道维度上通过线性映射调整，确保视频特征和骨架特征的通道数一致，将视频特征中的全局类令牌与经过线性映射后的骨架特征沿着第三维度进行拼接，形成融合特征，融合特征被输入到Transformer编码器中进行进一步编码，以生成最终的融合特征表示； 步骤2.3、构建文本-骨架融合模块； 对于通过骨架编码器得到的骨架特征，在关节点维度上进行平均池化，将池化后的特征通过全连接层映射到类别空间，对全连接层的输出应用Softmax函数，计算每个类别的概率分布，以预测概率最高的K个类别作为索引，通过文本编码器的文本特征作为查询，通过索引从文本特征中查询得到K个类别的文本特征，将查询得到的文本特征在时间维度上进行复制，沿K个类别的维度进行平均处理，得到增强文本特征表示，将池化前的骨架特征与增强文本特征通过拼接操作合并，形成融合特征，融合特征分别通过一维卷积层和全连接层生成新的分类概率分布，并与原始骨架分类结果进行加权融合，得到最终的预测结果； 步骤3、构建损失函数并训练微调模型； 步骤4、通过摄像头获取的当前人体微姿态行为，输出到训练好的模型中，得到所属的微姿态类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国石油大学(华东)，其通讯地址为：266580 山东省青岛市黄岛区长江西路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。