北京声智科技有限公司陈孝良获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京声智科技有限公司申请的专利基于知识蒸馏的模型训练方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117313830B 。
龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311430289.6,技术领域涉及:G06N3/096;该发明授权基于知识蒸馏的模型训练方法、装置、设备及介质是由陈孝良;涂贤玲;李良斌;常乐设计研发完成,并于2023-10-31向国家知识产权局提交的专利申请。
本基于知识蒸馏的模型训练方法、装置、设备及介质在说明书摘要公布了:本申请公开了一种基于知识蒸馏的模型训练方法、装置、设备及介质,属于人工智能技术领域。该方法包括:获取第一训练数据集和第二训练数据集;基于第一训练数据集训练第一深度学习模型,得到第一教师模型;在学生模型的训练过程中,根据第一类指标获取知识蒸馏强度;其中,知识蒸馏强度用于反映知识蒸馏过程中传递知识的程度;第一类指标包括学生模型的训练状态和模型性能、知识蒸馏过程中的温度参数以及模型训练参数中的至少一种;在知识蒸馏强度的约束下,基于第二训练数据集和第一教师模型的输出概率分布,训练用于执行目标深度学习任务的第二深度学习模型,得到学生模型。本申请能够提高学生模型的训练效率和性能。
本发明授权基于知识蒸馏的模型训练方法、装置、设备及介质在权利要求书中公布了:1.一种基于知识蒸馏的模型训练方法,其特征在于,所述方法包括: 获取第一训练数据集和第二训练数据集; 基于所述第一训练数据集训练第一深度学习模型,得到第一教师模型; 在学生模型的训练过程中,根据第一类指标获取知识蒸馏强度;其中,所述知识蒸馏强度用于反映知识蒸馏过程中传递知识的程度;所述第一类指标包括所述学生模型的训练状态和模型性能、知识蒸馏过程中的温度参数以及模型训练参数中的至少一种; 在所述知识蒸馏强度的约束下,基于所述第二训练数据集和所述第一教师模型的输出概率分布,训练用于执行目标深度学习任务的第二深度学习模型,得到所述学生模型; 接收与所述目标深度学习任务匹配的输入数据;其中,所述输入数据为文本、图像、音频和视频中的至少一种; 调用所述学生模型根据所述输入数据执行所述目标深度学习任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京声智科技有限公司,其通讯地址为:100094 北京市海淀区北清路81号院一区1号楼6层601;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。