恭喜鼎富智能科技有限公司胡加明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜鼎富智能科技有限公司申请的专利一种模型蒸馏训练方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113935234B 。
龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111186029.X,技术领域涉及:G06F30/27;该发明授权一种模型蒸馏训练方法、装置、电子设备及存储介质是由胡加明;李健铨;吴相博;刘小康设计研发完成,并于2021-10-12向国家知识产权局提交的专利申请。
本一种模型蒸馏训练方法、装置、电子设备及存储介质在说明书摘要公布了:本申请提供一种模型蒸馏训练方法、装置、电子设备及存储介质,用于改善对长尾类别的样本识别正确率提高十分有限的问题。该方法包括:获取包括长尾类别的训练数据集,并使用多种数据增强手段对训练数据集进行数据增强,获得多个数据集合;使用多个数据集合分别对多个老师模型进行不同种类的损失优化训练,获得训练后的多个老师模型,一个老师模型是使用一个数据集合进行一个种类的损失优化训练获得的;根据准确率从多个老师模型中选择出预设数量的老师模型;获取预设数量的学生模型,使用老师模型对学生模型进行蒸馏训练,获得预设数量蒸馏后的学生模型;从预设数量蒸馏后的学生模型中筛选出准确率最高的学生模型。
本发明授权一种模型蒸馏训练方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种分类模型蒸馏训练方法,其特征在于,包括: 获取包括长尾类别的训练数据集,并使用多种数据增强手段对所述训练数据集进行数据增强,获得多个数据集合,所述训练数据集包括:文本数据集、图像数据集和或视频数据集; 使用所述多个数据集合分别对多个老师模型进行不同种类的损失优化训练,获得训练后的多个老师模型,一个所述老师模型是使用一个所述数据集合进行一个种类的损失优化训练获得的; 根据准确率从所述多个老师模型中选择出预设数量的老师模型; 获取所述预设数量的学生模型,使用所述老师模型对所述学生模型进行蒸馏训练,获得所述预设数量蒸馏后的学生模型; 从所述预设数量蒸馏后的学生模型中筛选出准确率最高的学生模型; 使用所述准确率最高的学生模型对待处理数据进行分类预测,获得所述待处理数据的分类结果,所述待处理数据包括文本数据、图像数据和或视频数据; 其中,所述老师模型和所述学生模型均为神经网络模型,所述不同种类的损失优化训练方式包括:在分类问题中使用的交叉熵损失、FocalLoss、梯度协调机制和或DiceLoss。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人鼎富智能科技有限公司,其通讯地址为:230000 安徽省合肥市高新区习友路3333号A1楼19层-B区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。