买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江汉大学申请的专利一种语音识别模型的训练方法、装置以及处理设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115881101B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211392542.9，技术领域涉及：G10L15/06；该发明授权一种语音识别模型的训练方法、装置以及处理设备是由李登实;高雨;朱晨倚;王前瑞;宋昊;薛童;陈澳雷设计研发完成，并于2022-11-08向国家知识产权局提交的专利申请。

本一种语音识别模型的训练方法、装置以及处理设备在说明书摘要公布了：本申请提供了一种语音识别模型的训练方法、装置以及处理设备，用于训练出语音识别精度更高的语音识别模型，从而在具体应用中可以大大降低环境噪声对于语音识别带来的干扰，可以获得更为精确的语音识别结果。

本发明授权一种语音识别模型的训练方法、装置以及处理设备在权利要求书中公布了：1.一种语音识别模型的训练方法，其特征在于，所述方法包括： 获取样本集，所述样本集包括字符级别的音视频数据LRW以及句子级别的音视频数据LRS2； 将所述音视频数据LRW中的视频数据输入初始MoCov2模型进行预训练，得到预训练MoCov2模型； 将所述音视频数据LRS2中的视频数据Lv输入配置了所述预训练MoCov2模型以及第一Transformer编码器的视频编码模块，编码得到唇部特征Xv，以及将所述音视频数据LRS2中的音频数据La输入配置有Wav2vec2.0模型以及第二Transformer编码器的音频编码模块，编码得到音频特征Xa； 通过所述唇部特征Xv以及所述音频特征Xa，输入跨模态注意力模块和时间注意力模块两者组成的联合模块，得到融合特征f； 将所述融合特征f输入由Transformer解码器以及CTC模型构成的语音识别模型进行训练，训练过程中的损失函数由所述语音识别模型输出的语音识别结果和所述音视频数据LRS2的文本特征Xw计算得到； 所述跨模态注意力模块的特征处理包括以下内容： Xa表示音频模态提取的音频特征，Xv表示视频模态提取的视频特征，L表示为给定视频以及音频的输入序列的序列片段个数，和分别表示l＝1,2,...,L片段的特征向量， 将音频特征Xa以及视频特征Xv拼接为音视频特征J＝[Xa；Xv]∈Rd×L，d＝da+dv，da表示所述音频模态的特征维度，dv表示所述视频模态的特征维度， 所述音频特征Xa和拼接特征J的关联矩阵Ca为： 所述视频特征Xv以及所述拼接特征J的关联矩阵Cv为： 其中，拼接特征J为所述音频特征Xa和所述视频特征Xv在特征维度的拼接结果， 在所述关联矩阵Ca以及所述音频特征Xa的基础上，结合可学习权重矩阵和Wa组合，如下式计算所述音频模态的注意力权重： 在所述关联矩阵Cv以及所述视频特征Xv的基础上，结合可学习权重矩阵和Wv组合，如下式计算所述视频模态的注意力权重： 利用注意力图分别计算所述音频模态以及所述视频模态的注意力特征，表示为： Xatt,a＝WhaHa+Xa， Xatt,v＝WhvHv+Xv， 将特征Xatt,a和特征Xatt,v拼接，得到用于输入所述时间注意力模块的特征： Xatt＝[Xatt,a；Xatt,v]。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江汉大学，其通讯地址为：430056 湖北省武汉市沌口经济技术开发区新江大路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。