哈尔滨工业大学郝萌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学申请的专利一种多加速器异构SoC平台上深度学习负载映射优化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119476419B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411615432.3,技术领域涉及:G06N3/10;该发明授权一种多加速器异构SoC平台上深度学习负载映射优化方法及系统是由郝萌;王法瑞;张伟哲;杨思宇;杨洪伟;何慧设计研发完成,并于2024-11-13向国家知识产权局提交的专利申请。
本一种多加速器异构SoC平台上深度学习负载映射优化方法及系统在说明书摘要公布了:本发明公开了一种多加速器异构SoC平台上深度学习负载映射优化方法及系统,涉及计算机性能能耗协同优化技术领域,用以提高深度学习推理应用的性能同时降低能耗。本发明的技术要点包括:首先提取有性能或能耗优化潜力的子网络;接着测量融合节点和子网络的性能和能耗数据;再建立解析的性能和能耗预测模型,以预测不同映射配置下推理引擎的运行时间和能耗;之后使用基于变长滑动窗口的映射优化算法搜索性能‑能耗更优的映射配置;最后生成推理引擎并遍历搜索最优的CUDAstream数量。本发明无需用户干预,可以全自动地找到性能‑能耗更优的映射配置并生成推理引擎。与现有的JEDI等方法相比,本发明性能提升更多,能耗节省也更多,同时优化过程所需时间也更短。
本发明授权一种多加速器异构SoC平台上深度学习负载映射优化方法及系统在权利要求书中公布了:1.一种多加速器异构SoC平台上深度学习负载映射优化方法,其特征在于,包括:对于配备GPU和DLA加速器的异构SoC平台: 提取深度学习模型网络中具有性能或能耗优化潜力的候选子网络; 将深度学习模型网络拆分成多个融合节点,单独测量每个融合节点在GPU和DLA加速器上的运行时间和能耗数据,再从深度学习模型网络拆分出单入单出子网络,单独测量每个单入单出子网络的运行时间和能耗数据;所述单入单出子网络为一种连通的子网络,有唯一入口节点和唯一出口节点,且从入口节点到出口节点至少有两条不同的路径; 基于测量数据,建立解析的性能和能耗预测模型,从融合节点和子网络数据推导不同映射配置的推理引擎的运行时间和能耗;并使用基于变长滑动窗口的映射优化算法找到性能-能耗最优的映射配置,包括: 首先找出有性能或能耗优化潜力的候选子网络subNetm,然后使用变长滑动窗口来确定性能-能耗最优的映射配置;具体包括:将两组候选子网络setSeqNet和setSglIONet合并成一个集合setSubNet;对于每个候选子网络subNetm判断其是否有性能或能耗优化潜力,并将有潜力的子网络加入候选集合:如果一个候选子网络subNetm是SglIONet类型,计算仅将subNetm映射到DLA时的映射配置属性多元组MapInfom,如果此时的一次推理平均运行时间不大于只使用GPU的推理时间并且一次推理目标函数值也小于只使用GPU的目标函数值,则认为该子网络subNetm有性能或能耗优化潜力,并将该子网络subNetm加入候选集合candSubNet;如果一个候选子网络subNetm是SeqNet类型,先用只使用GPU时的目标函数值来初始化局部目标函数值Flcl,计算每个子网络subNetm[j:k]的映射配置属性多元组MapInfok,再将性能-能耗更优的子网络subNetm[j:k]保存为subNetlcl并更新局部目标函数值Flcl;如果subNetlcl有效,则将subNetlcl加入候选集合candSubNet;其中,只使用GPU的推理时间及能耗由下式计算得到: 在融合节点集合Net中,按照各个有性能或能耗优化潜力的候选子网络subNetm中所包含的最小融合节点序号idi升序排列candSubNet使用一个变长滑动窗口来创建相邻候选子网络的映射配置Mapj;再计算对应的映射配置属性多元组MapInfoj,并找出由Mapj中包含的融合节点组成的连通子图的数量MumGraphs,若满足条件,则认为当前映射配置Mapj性能-能耗更优,将Mapj保存为Map并更新Flcl;最终得到最优的映射配置Map; 按照最优映射配置生成深度学习应用最优的推理引擎,并搜索最优CUDAstream数量,完成深度学习负载映射优化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区西大直街92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励