买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种基于毫米波雷达的多模态语音识别系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116416996B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310469259.X，技术领域涉及：G10L15/26；该发明授权一种基于毫米波雷达的多模态语音识别系统及方法是由谢磊;樊龙;王楚豫;陆桑璐设计研发完成，并于2023-04-27向国家知识产权局提交的专利申请。

本一种基于毫米波雷达的多模态语音识别系统及方法在说明书摘要公布了：本发明公开了一种基于毫米波雷达的多模态语音识别系统及方法，系统包括：特征提取模块和多模态融合与识别模块；所述特征提取模块，利用毫米波雷达发射调频连续波信号，并从反射信号中提取嘴唇运动特征和声带振动特征；所述多模态融合与识别模块，用于融合嘴唇运动特征和声带振动特征，并进行语音识别。本发明通过融合嘴唇运动特征和声带振动特征技术，实现了两种特征的互补和增强的效果，使得语音识别的准确率得到进一步的提高。

本发明授权一种基于毫米波雷达的多模态语音识别系统及方法在权利要求书中公布了：1.一种基于毫米波雷达的多模态语音识别系统，其特征在于，包括：特征提取模块和多模态融合与识别模块； 所述特征提取模块，利用毫米波雷达发射调频连续波信号，并从反射信号中提取嘴唇运动特征和声带振动特征； 所述多模态融合与识别模块，用于融合嘴唇运动特征和声带振动特征，并进行语音识别； 所述特征提取模块中毫米波雷达发射端发射调频连续波信号，信号特征为：每组由M帧Chirp信号组成，每帧Chirp信号的周期为T，Chirp间隔时间Tinterval起始频率fc，每组发射信号包含M帧，持续时间Tframe；接收毫米波雷达所有回波信号，将回波信号的每个Chirp信号与发射信号的Chirp信号进行混频从而获得解调的中频信号： 式中，A表示信号增益，B表示Chirp信号带宽，d表示目标与雷达之间的距离，λ表示波长，c表示光速； 以采样率为fadc对中频信号SIFt进行降采样，采样点为N； 所述提取嘴唇运动特征具体包括： 检测发出语音用户所在位置，从每组信号中提取一帧Chirp信号，对每个Chirp信号的采样点执行N点离散傅里叶变换算法，通过检测离散傅里叶变换峰值位置确定发出语音用户嘴唇所在位置；在发出语音用户位置处提取嘴唇运动相关的信号相位变化为：Δφt＝4πΔdtλ，将每帧Chirp信号所检测到目标峰值相位信号Δφt拼接；通过截止频率fstop的低通滤波滤除高频信号、以flip的采样率进行降采样、对降采样后的信号差分获取发出语音用户嘴唇运动相关的信号Sl+dt，表示为： Sl+dt＝Slt+Sdt 其中，Slt表示发出语音用户嘴唇运动信号，Sdt表述动态干扰信号；通过执行语音活动检测算法来判别是否存在语音活动；并通过动态干扰去除算法进行滤波；最后得到嘴唇运动相关的特征Lp表示为： 其中，STFT表示短时傅里叶变换； 所述提取声带振动特征具体包括： 通过声带振动引起的信号相位Δφ的变化来定位发出语音用户位置，从每组信号中提取一帧Chirp信号，对每个Chirp信号的采样点执行N点离散傅里叶变换算法，通过检测离散傅里叶变换峰值位置确定发出语音用户声带振动位置Rs；然后将所有帧的Rs位置的信号组合、相位差分提取声带振动信号、高通滤波去除低频干扰信号和噪声，得到无干扰的声带振动信号Svib；通过执行语音活动检测算法来判别是否存在语音活动；最后通过声带振动语音增强方法对由声带提取的语音共振峰信号进行高频信号估计，得到声带增强语音信号Ls。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。