海南经贸职业技术学院杨博获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉海南经贸职业技术学院申请的专利基于知识蒸馏的海南方言语音识别优化系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120183382B 。
龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510462788.6,技术领域涉及:G10L15/00;该发明授权基于知识蒸馏的海南方言语音识别优化系统是由杨博;单继周;王忠;靳向峰;张良峰;符龙生设计研发完成,并于2025-04-14向国家知识产权局提交的专利申请。
本基于知识蒸馏的海南方言语音识别优化系统在说明书摘要公布了:本发明公开了基于知识蒸馏的海南方言语音识别优化系统,包括:数据预处理模块,用于对海南方言语音数据、海南方言文本数据进行处理,输出得到MFCC语音特征序列、标注的文本标签、海南方言文本数据;教师模型模块,包括RNN语言模型、CNN语言模型、Transformer语言模型,将方言文本数据分别输入RNN语言模型、CNN语言模型、Transformer语言模型中,经过动态温度调节,得到软标签和中间层特征;学生模型训练模块,根据MFCC语音特征序列、标注的文本标签、软标签、中间层特征对学生模型进行知识蒸馏以及参数调优;输出模块,利用知识蒸馏以及参数调优后的学生模型对海南方言进行语音识别,得到识别结果;且所训练的学生模型体积小、计算复杂度低,最后能够得到准确的识别结果。
本发明授权基于知识蒸馏的海南方言语音识别优化系统在权利要求书中公布了:1.基于知识蒸馏的海南方言语音识别优化系统,其特征在于,包括: 数据预处理模块,用于对海南方言语音数据、海南方言文本数据进行处理,输出得到MFCC语音特征序列、标注的文本标签、海南方言文本数据; 教师模型模块,包括RNN语言模型、CNN语言模型、Transformer语言模型,将所述方言文本数据分别输入所述RNN语言模型、所述CNN语言模型、所述Transformer语言模型中,经过动态温度调节,得到软标签和中间层特征; 所述动态温度调节的表达式为: 其中,E是总训练轮次,是初始温度,取值范围是t0∈0,1],λ为敏感度评分,取值范围是,表示一个极小的温度值; 学生模型训练模块,根据所述MFCC语音特征序列、所述标注的文本标签、所述软标签、所述中间层特征对学生模型进行知识蒸馏以及参数调优; 输出模块,利用知识蒸馏以及参数调优后的学生模型对海南方言进行语音识别,得到识别结果; 其中,所述根据所述MFCC语音特征序列、所述标注的文本标签、所述软标签、所述中间层特征对学生模型进行知识蒸馏和参数调优,包括: 对于所述MFCC语音特征序列,利用所述学生模型前向传播生成预测结果; 对于所述标注的文本标签,将所述标注的文本标签作为真实标签,计算所述预测结果与所述真实标签的交叉熵损失,得到分类损失; 对于所述软标签,将分别经过所述RNN语言模型、所述CNN语言模型、所述Transformer语言模型得到的软标签进行加权平均,计算学生模型的预测结果与加权平均后的软标签之间的蒸馏损失; 所述蒸馏损失的计算公式为: 其中,为蒸馏损失,t为温度,为教师模型输出软化后的概率分布,为教师模型数量,为第m个教师模型经温度处理的软标签,为权重; 所述蒸馏损失中的权重计算公式为: 其中,为第m个教师模型的置信度; 对于所述中间层特征,提取所述学生模型中与所述教师模型对应的实时中间层特征,将所述教师模型输出的中间层特征与所述学生模型提取的实时中间层特征进行匹配,并计算所述教师模型的中间层特征与所述学生模型的实时中间层特征的余弦相似度损失,得到中间层特征匹配损失; 所述中间层特征匹配损失的计算公式为: 其中,L为中间层数量,为教师模型第层的特征,为学生模型第层的特征; 基于所述分类损失、所述蒸馏损失、所述中间层特征匹配损失计算总损失函数,根据所述总损失函数进行训练,得到训练好的学生模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人海南经贸职业技术学院,其通讯地址为:570100 海南省海口市美兰区桂林洋开发区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励