买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种基于交叉蒸馏的端到端语音识别模型压缩方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116072107B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310031418.8，技术领域涉及：G10L15/06；该发明授权一种基于交叉蒸馏的端到端语音识别模型压缩方法是由洪青阳;胡文轩;李琳设计研发完成，并于2023-01-10向国家知识产权局提交的专利申请。

本一种基于交叉蒸馏的端到端语音识别模型压缩方法在说明书摘要公布了：一种基于交叉蒸馏的端到端语音识别模型压缩方法，涉及语音识别。提供一种基于交叉蒸馏的端到端语音识别模型压缩方法，基于知识蒸馏方法，对教师模型学习不充分的问题，设计交叉蒸馏方法，提高学生模型的准确率。包括：1构建基于Conformer模型的教师模型和学生模型；2对教师模型进行预训练；3教师模型通过交叉蒸馏方法指导学生模型进行训练；4对学生模型进行推理。针对语音识别模型在设备上部署的难点，优化设计小模型的训练方案；在保证模型大小压缩的同时，使得学生模型的解码器能直接获得来自教师模型编码器的特征学习，学生模型的编码器提取的特征输入到教师模型的解码器中由教师模型纠正，提升小模型的准确率。

本发明授权一种基于交叉蒸馏的端到端语音识别模型压缩方法在权利要求书中公布了：1.一种基于交叉蒸馏的端到端语音识别模型压缩方法，其特征在于包括以下步骤： 1）构建基于Conformer模型的教师模型和学生模型； 2）对教师模型进行预训练； 3）教师模型通过交叉蒸馏方法指导学生模型进行训练，具体步骤包括： （1）在训练过程中，教师模型和学生模型都进行前向传播，除前向传播方式外，教师模型和学生模型的编码器输出特征在输入解码器之前进行交叉，随后再计算这两种编码器输出的概率分布与真实分布的KL散度损失；所述前向传播即教师模型的编码器输出特征是教师模型的解码器的输入，学生模型的编码器输出特征是学生模型的解码器输入，所述交叉即教师模型的编码器输出特征输入学生模型的解码器，学生模型的编码器输出特征输入教师模型的编码器； （2）设计一个自适应蒸馏权重函数，根据教师模型原始前向传播方式获得的解码器输出，计算出教师模型预测当前批次数据的准确率，以此调整教师模型参与指导的权重；当教师模型对当前批次数据的识别准确率高时，则KL散度损失占总损失中的比例高；当教师模型对当前批次数据的识别准确率低时，原始交叉熵损失占总损失的比例高； （3）计算学生模型的编码器最后一层输出特征和教师模型的编码器最后一层输出特征的均方误差； （4）在反向传播过程中，教师模型网络参数无需更新，不参与反向传播，学生模型优化以上的均方误差、KL散度损失和本身的交叉熵损失，直到学生模型收敛； 4）对学生模型进行推理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。