买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南华大学申请的专利一种基于Spark框架的Executor分配方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114168334B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111497024.9，技术领域涉及：G06F9/50；该发明授权一种基于Spark框架的Executor分配方法、装置、设备及存储介质是由付仲明;何梦思;罗凌云;丁平尖;朱涛;万亚平设计研发完成，并于2021-12-09向国家知识产权局提交的专利申请。

本一种基于Spark框架的Executor分配方法、装置、设备及存储介质在说明书摘要公布了：本申请公开了一种基于Spark框架的Executor分配方法、装置、设备及存储介质，包括：确定Map阶段全部Map任务分别在Spark框架中每个第一空闲节点获取相应数据块的通信代价，以得到每个所述第一空闲节点对应的第一通信代价；按照所述第一通信代价的大小顺序对全部所述第一空闲节点进行排序，并依次在排序后的所述第一空闲节点上分配所述第一空闲节点的最大可用Executor数量个第一Executor；当分配的所述第一Executor总数量为第一所需Executor数量时，停止分配所述第一Executor得到所述Map阶段执行所述Map任务的包含当前已分配的所述第一Executor的第一Executor集合。可见，本申请将Executor分配在靠近输入数据块所在的节点上，能够改善Spark任务调度中的数据本地性，有效降低任务的网络流量和数据访问延迟。

本发明授权一种基于Spark框架的Executor分配方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于Spark框架的Executor分配方法，其特征在于，包括： 确定Map阶段全部Map任务分别在Spark框架中每个第一空闲节点获取相应数据块的通信代价，以得到每个所述第一空闲节点对应的第一通信代价； 按照所述第一通信代价的大小顺序对全部所述第一空闲节点进行排序，并依次在排序后的所述第一空闲节点上分配所述第一空闲节点的最大可用Executor数量个第一Executor； 当分配的所述第一Executor总数量为第一所需Executor数量时，停止分配所述第一Executor得到所述Map阶段执行所述Map任务的包含当前已分配的所述第一Executor的第一Executor集合； 所述确定Map阶段全部Map任务分别在Spark框架中每个第一空闲节点获取相应数据块的通信代价，以得到每个所述第一空闲节点对应的第一通信代价，包括：确定所述Map阶段每个所述Map任务分别在Spark框架中每个所述第一空闲节点获取相应数据块的第二通信代价；将每个所述第一空闲节点上的所述第二通信代价进行求和运算以得到每个所述第一空闲节点对应的所述第一通信代价，包括： 其中，m1是Map任务的数量，n1是空闲节点的数量，di,j是数据块bj和节点Ni之间的网络距离，ci,j表示当分配任务tj到节点Ni时获取数据块bj的通信代价，|bj|是数据块的大小； 所述第一空闲节点的最大可用Executor数量个第一Executor的计算过程包括： 在Map阶段，每个Map任务负责处理一个数据块并输出中间数据到本地磁盘；Spark分布式计算集群的网络拓扑形式化为节点集合NS＝{N0,N1,…,Nα-1}和机架集合RS＝{R0,R1,…,Rβ-1}，1≤β≤α，对于任意节点Nl，Nl位于机架Rr，r∈{0,1,…,β-1}；在Map阶段分配Executor的初始状态时，将一些特定的数据结构形式化如下： NSmap为包含n_1个允许启动Executor的空闲节点，是NS的一个子集合；其元素Ni表示第i个空闲节点，它的剩余CPU和内存容量分别表示为free_cpui和free_memoryi；每个节点上允许启动的Executor数量计算为： 其中，是节点Ni上允许启动的Executor的数量，cpu_conf和memory_conf是每个Executor配置的CPU数量和内存容量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南华大学，其通讯地址为：421001 湖南省衡阳市蒸湘区常胜西路28号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。