大连海事大学辛文天获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连海事大学申请的专利基于多模态关键语义的无监督骨架行为识别方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119785422B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411811914.6,技术领域涉及:G06V40/20;该发明授权基于多模态关键语义的无监督骨架行为识别方法及系统是由辛文天;付先平;王辉兵;王新年;袁国良;米泽田;林闯设计研发完成,并于2024-12-10向国家知识产权局提交的专利申请。
本基于多模态关键语义的无监督骨架行为识别方法及系统在说明书摘要公布了:本发明提供一种基于多模态关键语义的无监督骨架行为识别方法及系统,本发明方法包括:采集预训练的多模态骨架视频序列,进行预处理,构建骨架数据集;利用多模态大语言模型对骨架数据集中的每一类动作图像进行时序理解,并生成关键描述,通过语义编码器生成文本描述特征簇;通过混合增强策略和时空图卷积ST‑GCN模型捕捉骨架数据集中图片的骨架动作特征簇;利用GLIP语义对齐策略,将文本描述特征簇和骨架动作特征簇映射至同一个表征空间,将不同动作进行相似性比较,利用反向传播训练骨架编码器,实现骨架行为识别。
本发明授权基于多模态关键语义的无监督骨架行为识别方法及系统在权利要求书中公布了:1.一种基于多模态关键语义的无监督骨架行为识别方法,其特征在于,包括: S1、采集预训练的多模态骨架视频序列,进行预处理,构建骨架数据集; S2、利用多模态大语言模型对骨架数据集中的每一类动作图像进行时序理解,并生成关键描述,通过语义编码器生成文本描述特征簇; S3、通过混合增强策略和时空图卷积ST-GCN模型捕捉骨架数据集中图片的骨架动作特征簇; 所述混合增强策略,基于骨架数据的拓扑信息,将骨架关节划分为五个部分,随机选择部位进行裁剪,形成裁剪视图;将裁剪视图与剩余的骨架序列组成的截断视图随机组合,生成混合骨架序列; 从混合骨架序列中提取特征,通过时空掩码池化分离裁剪视图和截断视图的特征; S4、利用CLIP语义对齐策略,将文本描述特征簇和骨架动作特征簇映射至同一个表征空间,将不同动作进行相似性比较,利用反向传播训练骨架编码器,实现骨架行为识别; 将所述裁剪视图和截断视图,通过时空图卷积网络ST-GCN进行特征映射: 其中,表示第个动作的混合增强集合,表示第个动作编码后的裁剪视图特征,表示第个动作编码后的截断视图特征,表示第个动作的裁剪视图特征,表示第个动作的截断视图特征,表示最后一个动作的混合增强集合;表示所有动作裁剪视图集合,表示所有动作截断视图集合,表示特征映射,表示特征聚合,为生成的骨架动作特征簇。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连海事大学,其通讯地址为:116026 辽宁省大连市甘井子区凌水街道凌海路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。