合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)郑烇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)申请的专利面向异构集群环境的模型流水线划分及部署方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120123103B 。
龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510595032.9,技术领域涉及:G06F9/50;该发明授权面向异构集群环境的模型流水线划分及部署方法和系统是由郑烇;杨澍;杨锋;杨坚;谭小彬;施钱宝设计研发完成,并于2025-05-09向国家知识产权局提交的专利申请。
本面向异构集群环境的模型流水线划分及部署方法和系统在说明书摘要公布了:本发明公开了面向异构集群环境的模型流水线划分及部署方法和系统,涉及到人工智能技术领域,包括:遍历模型工作流,得到当前GPU上模型每一层的执行时间,据以通过算力比例来估算模型每一层在异构GPU上的执行时间;根据GPU总算力将模型切分为执行时间相等的虚拟阶段块,以算力最低的GPU为基准,在其他GPU上按算力比例分别放置虚拟阶段块,得到模型逻辑分割结果;构建GPU之间的网络拓扑图,利用图搜索算法得到全部GPU设备物理映射的排序队列,将GPU根据排序队列中位置进行排序,并将模型逻辑分割结果映射到排序队列的物理节点上;该模型流水线划分及部署方法和系统提高了设备利用率,减少了流水线空闲时间。
本发明授权面向异构集群环境的模型流水线划分及部署方法和系统在权利要求书中公布了:1.面向异构集群环境的模型流水线划分及部署方法,其特征在于,包括: 遍历由基本计算单元组成的模型工作流,得到当前GPU上模型每一层的执行时间,据以通过算力比例来估算模型每一层在异构GPU上的执行时间; 基于所述执行时间,根据GPU总算力将模型切分为执行时间相等的虚拟阶段块,以算力最低的GPU为基准,在其他GPU上按算力比例分别放置虚拟阶段块,得到模型逻辑分割结果; 构建GPU之间的网络拓扑图,利用图搜索算法得到全部GPU设备物理映射的排序队列,将GPU根据排序队列中位置进行排序,并将模型逻辑分割结果映射到排序队列的物理节点上,实现模型的流水线划分及部署; 所述模型逻辑分割结果的构建过程: 按照最小公倍数统计模型可分割成的虚拟阶段块数,得到分区数; 当序列长度以及分区数为正整数,以及序列长度大于分区数时,将序列归一化到区间内,其中序列指的是输入的模型每一层的执行时间; 找出当前最大的分区和对应的索引,若最大分区的大小不超过最小分区大小+1,则得到最终分区结果; 如果最大分区的大小超过最小分区大小+1,则找出最小分区和对应的索引,根据和的相对位置,对分区边缘进行移动,直至最大分区的大小不超过最小分区大小+1; 所得到的最终分区结果即为模型被分割的阶段数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室),其通讯地址为:230000 安徽省合肥市高新区望江西路5089号,中国科学技术大学先进技术研究院未来中心B1205-B1208;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。