买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京工业大学申请的专利一种声像联合的跨模态声源定位与手势识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116631059B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310600840.0，技术领域涉及：G06V40/20；该发明授权一种声像联合的跨模态声源定位与手势识别方法是由马楠;汪成;梁晔;肖传胜设计研发完成，并于2023-05-25向国家知识产权局提交的专利申请。

本一种声像联合的跨模态声源定位与手势识别方法在说明书摘要公布了：本发明公开了一种声像联合的跨模态声源定位与手势识别方法，该方法的具体实施过程如下：步骤1.建立空间极坐标系；步骤2.将三维空间划分为不同的子空间；步骤3.音频信息预处理；步骤4.卷积神经网络模型；步骤5.使用YOLOv7进行人体检测；步骤6.使用AlphaPose提取手势的骨骼信息；步骤7.使用时空图卷积网络进行手势识别；通过音频信息精准定位指令发起者的位置，然后通过视觉信息识别指令发起者的手势，从而完成相应的指令。

本发明授权一种声像联合的跨模态声源定位与手势识别方法在权利要求书中公布了：1.一种声像联合的跨模态声源定位与手势识别方法，其特征在于，该方法的具体实施过程如下：步骤1.建立空间极坐标系；以智能机器人为中心，建立空间极坐标系以此表示声源相对于智能机器人所在的位置；其中，智能机器人中心的初始位置表示为0,0,0，表示空间极坐标系的原点；r表示声源到智能机器人中心的距离，表示声源与智能机器人中心的方向角，θ表示声源与智能机器人中心的俯仰角；步骤2.将三维空间划分为不同的子空间；在空间极坐标系中极径为R的范围内，三维空间被分为Z个大小相等且互不相交的子空间，即每个子空间相互独立，且每个子空间都有唯一的三维坐标表示；步骤3.音频信息预处理；智能机器人装备有多个麦克风，将麦克风放置在同一水平面上；在收到多麦克风录制声音后，对音频信息进行预处理，将时域信号转化为频域信号，然后对频域信号进行特征提取，将提取的特征变化为适合卷积神经网络处理的形式；步骤4.卷积神经网络模型；在预处理后的声音信号上，使用卷积神经网络模型进行训练；卷积神经网络模型由4个卷积层和4个池化层组成；将格式变换后的三维数据作为卷积神经网络的输入，卷积神经网络的输出作为训练特征，记为f'；根据训练特征进行分类，确定声源所在子空间，实现声源定位；表示为：gz＝classifyf′其中，classify·表示分类器函数，gz表示预测目标声源所在的子空间；根据子空间位置，智能机器人移动到指令发起者面前，智能机器人旋转的方向角为移动距离为r·cosθ；步骤5.使用YOLOv7进行人体检测；智能机器人根据音频信息得到指令发起者的位置后，移动到指令发起者身边，使用YOLOv7处理视觉信息，对人体目标进行检测；步骤6.使用AlphaPose提取手势的骨骼信息；通过YOLOv7检测到人体目标后，使用AlphaPose对人体进行手部关节点提取，得到指令发起者手部的关节点信息；所述关节点信息包括手指、手腕、肘部、肩膀等关键点位置和姿态，为后续手势识别提供重要的特征；步骤7.使用时空图卷积网络进行手势识别；使用时空图卷积网络对AlphaPose提取的手势关节点信息进行建模和处理，从而识别手势的类别；时空图卷积网络使用多层图卷积神经网络，并在空间和时间上进行卷积运算，提取出手势的空间和时间特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100024 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。