南京理工大学谢鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京理工大学申请的专利一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120805991B 。
龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511289299.1,技术领域涉及:G06N3/045;该发明授权一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质是由谢鹏;李世东;练智超设计研发完成,并于2025-09-10向国家知识产权局提交的专利申请。
本一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质在说明书摘要公布了:本发明公开了一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质,属于人工智能模型优化领域;包括构建分层级知识指导框架,利用分层级知识指导框架提取并传递知识给学生模型;起始特征融合学习机制,引入注意力机制为特征分配权重进行特征转换,优化学生模型的特征学习;自适应温度标准化Logit,从教师模型中提取Logit信息,并进行分布标准化处理,通过KL散度计算损失并优化学生模型的Logit学习;混合分层级知识指导框架;输出最终生成蒸馏后的学生模型;本发明通过解耦的方法聚合两种知识取得了更高的鲁棒性,并且不通过引入额外对抗扰动数据,保留了在干净样本上的高效识别率。
本发明授权一种增强学生模型对抗鲁棒性的分层知识蒸馏方法、系统、设备及存储介质在权利要求书中公布了:1.一种增强学生模型对抗鲁棒性的分层知识蒸馏方法,其特征在于:包括以下步骤: S1:构建分层级知识指导框架,通过解耦语义知识,利用分层级知识指导框架提取并传递知识给学生模型,将教师模型的特征知识和Logit知识分别提取并传递给学生模型; S2:起始特征融合学习机制,引入注意力机制为特征分配权重并进行特征转换,基于多尺度的均方误差损失,优化学生模型的特征学习,包括以下三个子步骤: S21:引入注意力机制分配特征权重,将教师模型的重要特征转换为学生模型可学习的特征知识; S22:将学生模型的起始特征与当前特征进行融合; 通过多尺度的均方误差损失衡量学生特征和教师特征之间的一致性; S23:计算特征损失并优化学生模型; S3:自适应温度标准化Logit,从教师模型中提取Logit信息,并对其进行分布标准化处理,通过KL散度计算损失并优化学生模型的Logit学习,包括以下四个子步骤: S31:从教师模型中提取Logit信息; S32:引入动态温度参数,根据Logit的锐度动态调整温度值; S33:对Logit值进行分布标准化处理,使学生模型专注于学习Logit之间的相对关系; S34:通过KL散度计算学生模型和教师模型标准化Logit之间的概率分布差异,优化学生模型的Logit学习; S4:混合分层级知识指导框架,将特征知识和Logit知识进行融合,优化混合知识蒸馏损失; S5:输出最终生成蒸馏后的学生模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学,其通讯地址为:210094 江苏省南京市玄武区孝陵卫街道孝陵卫街200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励