西安交通大学王世鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安交通大学申请的专利一种基于各向异平坦性的深度神经网络持续学习方法及相关装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119761409B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411891444.9,技术领域涉及:G06N3/04;该发明授权一种基于各向异平坦性的深度神经网络持续学习方法及相关装置是由王世鹏;孙剑;马建华;徐宗本设计研发完成,并于2024-12-20向国家知识产权局提交的专利申请。
本一种基于各向异平坦性的深度神经网络持续学习方法及相关装置在说明书摘要公布了:本发明公开了一种基于各向异平坦性的深度神经网络持续学习方法及相关装置,方法包括,获取对自然图像待分类的序列任务;深度神经网络在对自然图像待分类的序列任务上依次进行学习,当深度神经网络在第t‑1个任务上学习结束后,更新深度神经网络各层特征的方差;对更新后的神经网络各层特征的方差进行奇异值分解,得到奇异向量和奇异值;基于奇异向量和奇异值,确定可缓解遗忘的训练策略;基于可缓解灾难性遗忘的训练策略,实现深度神经网络在第t个任务上的持续学习,并实现第t个任务的图像分类。本发明中使得深度神经网络在新任务上学习后,在历史任务上的损失函数值保持不变,可以有效地缓解灾难性遗忘现象,提升持续学习地效果。
本发明授权一种基于各向异平坦性的深度神经网络持续学习方法及相关装置在权利要求书中公布了:1.一种基于各向异平坦性的深度神经网络持续学习方法,其特征在于,包括以下步骤: 获取对自然图像待分类的序列任务; 深度神经网络在对自然图像待分类的序列任务上依次进行学习,当深度神经网络在第个任务上学习结束后,更新深度神经网络各层特征的方差; 对更新后的神经网络各层特征的方差进行奇异值分解,得到奇异向量和奇异值; 基于奇异向量和奇异值,确定可缓解遗忘的训练策略; 基于可缓解灾难性遗忘的训练策略,实现深度神经网络在第个任务上的持续学习,并实现第个任务的图像分类; 基于奇异向量和奇异值,确定深度神经网络在第个任务上的损失函数曲面的平坦区域,根据平坦区域,确定可缓解遗忘的训练策略; 对前个任务在第层的方差进行奇异值分解,得到奇异向量矩阵和奇异值矩阵,,其中的列向量表示平坦方向,奇异值矩阵为对角矩阵,其对角元素表示对应平坦方向上的平坦程度,奇异值越小,对应的方向越平坦,从而确定深度神经网络在第个任务上的损失函数曲面的平坦区域; 确定可缓解灾难性遗忘的训练策略:在平坦区域内,基于奇异值矩阵计算对应平坦方向上的学习率,使得沿奇异值小的平坦方向上的学习率大,,其中和分别表示最小奇异值和最大奇异值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安交通大学,其通讯地址为:710049 陕西省西安市碑林区咸宁西路28号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励