买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学;哈尔滨工业大学重庆研究院;中铁十七局集团有限公司;中铁十二局集团有限公司申请的专利人与无人机群手势、手形、语音协同多模态交互感知方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116225212B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211552328.5，技术领域涉及：G06F3/01；该发明授权人与无人机群手势、手形、语音协同多模态交互感知方法是由陈宏伟;唐亮;张熙阳;凌贤长;邱瑞;赵香萍;孙辉;丛晟亦;张钟远;毛小刚;田爽;孔祥勋设计研发完成，并于2022-12-05向国家知识产权局提交的专利申请。

本人与无人机群手势、手形、语音协同多模态交互感知方法在说明书摘要公布了：本发明公开了一种人与无人机群手势、手形、语音协同多模态交互感知方法，所述方法包括如下步骤：步骤1：构建人与无人机群交互的语音识别模型；步骤2：构建人与无人机群交互的手势识别模型；步骤3：构建基于语音和手势双模型自主识别集群编队协同控制的交互框架，输入手形、姿态、语音3个交互通道信息，用于获取手势和语音命令动作，采用基于双通道切换的通道融合实现机制，实现交互框架中的多模态交互。本发明通过构建基于语音和手势双模型自主识别集群编队协同控制和基于双通道切换的通道融合的交互框架来实现人与无人机群机多模态交互，可以准确并高效的通过语言和手势实现人与无人机群智能协同多模态感知。

本发明授权人与无人机群手势、手形、语音协同多模态交互感知方法在权利要求书中公布了：1.一种人与无人机群手势、手形、语音协同多模态交互感知方法，其特征在于所述方法包括如下步骤： 步骤1：构建人与无人机群交互的语音识别模型 步骤1.1：采集多名不同年龄段男女性语音指令，并按照统一格式构建语音指令数据集； 步骤1.2：对步骤1.1构建的语音指令数据集中音频时域信号段去噪，并提取出音频时域信号的梅尔倒谱系数特征； 步骤1.3：将步骤1.2提取的梅尔倒谱系数特征输入到基于Keras的神经网络模型； 步骤2：构建人与无人机群交互的手势识别模型 步骤2.1：手势指令数据库的创建 在不同光线、不同背景、不同距离的条件下采集若干个实验者的数据； 步骤2.2：数据预处理 对采集的样本图像进行预处理，具体步骤如下：采用基于全局的二值化算法大津阈值分割法根据图像灰度特征自适应滤除无关特征，然后使用Canny边缘检测算法提取图像中边缘信息； 步骤2.3：手势识别卷积神经网络模型的创建 手势识别卷积神经网络模型主要包括3个卷积层C1、C2、C3、3个池化层S1、S2、S3、1个BatchNormalization批归一化层BN和2个全连接层FC1、FC2，前6层由C1、C2、C3与S1、S2、S3交替叠加，再接1层BN，再接2层FC1和FC2，最后接输出层Softmax； 步骤3：构建基于语音和手势双模型自主识别集群编队协同控制的交互框架，输入手形、姿态、语音3个交互通道信息，用于获取手势和语音命令动作，采用基于双通道切换的通道融合实现机制，实现交互框架中的多模态交互。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学;哈尔滨工业大学重庆研究院;中铁十七局集团有限公司;中铁十二局集团有限公司，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。