南京信息工程大学袁利连获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京信息工程大学申请的专利基于梯度相似性超网的多目标神经架构搜索方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119180305B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411700143.3,技术领域涉及:G06N3/045;该发明授权基于梯度相似性超网的多目标神经架构搜索方法和系统是由袁利连;薛羽设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本基于梯度相似性超网的多目标神经架构搜索方法和系统在说明书摘要公布了:本发明提出基于梯度相似性超网的多目标神经架构搜索方法和系统,所述方法包括:构建一个超网,通过训练生成共享权重。训练过程中,采用梯度范数重要性采样策略,动态优化路径和数据的采样概率,优先选择对权重更新影响较大的架构和数据,以提高效率。针对多目标优化中的梯度冲突,引入PCGrad投影法,计算梯度相似性动态主导方向选择和梯度投影,减少冲突并稳定优化过程。超网训练后,初始化种群继承共享权重,在目标数据集上获得性能,并通过进化算法进行非支配排序和优化,以确保在精度、浮点计算次数和参数量等目标上实现均衡表现。本发明在保证多目标均衡优化的前提下,有效降低了计算成本,提升了神经网络架构搜索的效率和性能。
本发明授权基于梯度相似性超网的多目标神经架构搜索方法和系统在权利要求书中公布了:1.基于梯度相似性超网的多目标神经架构搜索方法,其特征在于,包括以下步骤: 步骤1:构建包含两个以上子网的超网,通过训练超网来生成供所有子网共享的权重;在超网训练过程中,计算各个子网在优化目标上的总梯度; 步骤2:获取每个子网的梯度范数,采用梯度范数的重要性采样策略,根据梯度范数的大小动态调整子网的采样概率; 步骤3:采用PCGrad投影法处理多目标优化过程中不同子网之间的梯度冲突问题,通过计算不同子网之间的梯度相似性,进行加权平均得到最终梯度更新方向; 步骤4:采用CIFAR-10数据集,将数据集划分为两个部分: 超网训练数据集:用于训练超网以获得共享权重; 种群性能评估数据集:用于对种群中各个架构的性能进行评估,并在进化过程中确定最优架构; 初始化一个种群,种群中的每个架构直接从超网中继承共享权重,并在目标数据集上进行训练,获取在目标上的性能; 步骤5:利用非支配排序遗传算法NSGA-III对采样得到的架构进行非支配排序,从帕累托前沿中的架构选出前N个架构,形成下一代父代; 步骤6:重复步骤4至步骤5,直至满足预定停止条件,输出在各个目标均衡表现最优的帕累托前沿架构,并从中选择性能最好的架构,从超网继承权重进行单独训练; 步骤1包括: 步骤1.1,设计子网的损失函数: 在超网S的训练过程中,定义如下目标:精度Accuray、浮点计算次数FLOPs、参数量Params;针对每个子网,设计如下多目标损失函数L: 其中,K为优化的目标数量,Lk是第k个目标的损失函数,λk是第k个目标的权重; 步骤1.2,计算子网各个目标上的梯度和多目标总梯度: 对在超网训练过程中被采样到的子网,进行前向传播计算多目标损失函数L,然后通过反向传播分别计算子网在每个目标上的梯度: 其中,gk表示子网在第k个目标上的梯度,是对损失函数Lk的梯度; 将每个目标上的梯度按照损失函数中的加权方式进行加权求和,得到子网在多个目标上的总梯度: 其中,G是多目标优化的总梯度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:210044 江苏省南京市江北新区宁六路219号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。