买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安交通大学申请的专利一种基于多模态门控提升模型的视听语音降噪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116013297B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211628536.9，技术领域涉及：G10L15/25；该发明授权一种基于多模态门控提升模型的视听语音降噪方法是由张新曼;李扬科;王静静;李桂成;黄永文;王歆叶设计研发完成，并于2022-12-17向国家知识产权局提交的专利申请。

本一种基于多模态门控提升模型的视听语音降噪方法在说明书摘要公布了：本发明公开了一种基于多模态门控提升模型的视听语音降噪方法，包括以下步骤：图像与音频的分离存储；音频与图像的预处理；借助唇部定位算法与短时傅里叶变换分别完成唇部图像的裁剪与语音频谱图的生成；使用层次化注意力模块与双路频谱增强模块分别实现视觉特征与音频特征的捕获与增强；利用门控编码器逐步融合视觉特征与音频特征；采用时频提升模块强化关键的视音特征；借助门控解码器估计纯净语音频谱图；借助短时傅里叶逆变换获取语音信号；完成网络模型的训练或测试。本发明鲁棒性强，适用范围广，可以实现复杂噪声环境下的语音降噪。与部分主流降噪模型相比，本发明在SI‑SDR和PESQ评价指标上分别提升了约15％和19％。

本发明授权一种基于多模态门控提升模型的视听语音降噪方法在权利要求书中公布了：1.一种基于多模态门控提升模型的视听语音降噪方法，其特征在于，包括以下步骤： 步骤1：获取含有音频以及人脸图像的视频数据，分别设置固定的视频采样率和音频采样率，进行音频数据与图像数据的分离存储操作； 步骤2：对所述图像数据与音频数据分别进行预处理操作； 步骤3：使用唇部定位算法裁剪讲话者的唇部图像，使用短时傅里叶变换生成语音频谱图，将所述唇部图像与所述语音频谱图输入基于深度学习的多模态门控提升模型MGB-Net中；所述多模态门控提升模型包括层次化注意力模块、双路频谱增强模块、门控编码器、时频提升模块和门控解码器； 步骤4：利用预训练的深度学习模型ResNet18对所述唇部图像压缩编码，并利用所述层次化注意力模块提取其多尺度的关键视觉特征；使用所述双路频谱增强模块实现所述语音频谱图实部与虚部的相互指导与特征挖掘； 步骤5：利用所述门控编码器逐步融合多尺度的关键视觉特征与音频特征； 步骤6：利用所述时频提升模块，在时域维度与频域维度上实现针对关键视觉特征与音频特征的强化与长短期特征的捕获； 步骤7：利用所述门控解码器估计纯净语音频谱图； 步骤8：利用短时傅里叶逆变换获得估计的纯净语音信号； 步骤9：利用损失函数与评价指标完成所述多模态门控提升模型的训练和测试。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安交通大学，其通讯地址为：710049 陕西省西安市碑林区咸宁西路28号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。