买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南大学申请的专利一种基于Spark负载均衡的任务调度方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119814779B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411857853.7，技术领域涉及：H04L67/10；该发明授权一种基于Spark负载均衡的任务调度方法和系统是由赵迟逸;张嘉鹏;周栋;唐卓;李肯立;付寒;肖雄;肖正设计研发完成，并于2024-12-17向国家知识产权局提交的专利申请。

本一种基于Spark负载均衡的任务调度方法和系统在说明书摘要公布了：本发明公开了一种基于Spark负载均衡的任务调度方法，其首先获取计算资源信息，数据存储信息，并定义通信成本计算方式，再对三者进行统一建模；然后采用匈牙利算法对建立的统一模型求得全局状态下的最优解；最后将获得的任务调度表内置于Spark自带的任务调度器内部，并屏蔽原有的基于贪心算法的调度方案。本发明能够解决现有使用贪心算法的调度方法由于该方法在执行的每一步都选择当前最优，而缺少全局视角，因此导致最终的调度策略陷入局部最优的情况，进而影响调度性能的技术问题，以及由于该方法仅仅考虑到本地性级别高带来的性能提升，却没有考虑等待时间带来的性能的损耗，因此会造成总体通信消耗大、CPU利用率低的技术问题。

本发明授权一种基于Spark负载均衡的任务调度方法和系统在权利要求书中公布了：1.一种基于Spark负载均衡的任务调度方法，其特征在于，包括以下步骤： 1获取Spark集群中每一个节点j上的每一个执行器以及每一个节点j上的数据块bji＝{bji0,bji1,bji2}，其中l∈[1，节点j上所有执行器的总数Num1]，j∈[1，Spark集群中的节点总数]，i∈[1，节点j上数据块的总数]； 2针对步骤1得到的Spark集群中每一个节点j上的每一个执行器l而言，获取该执行器l处理Spark集群中每个数据块p的通信开销； cpl＝dp,j×dbp 其中cpl表示执行器l处理Spark集群中第p个数据块的通信开销；dp,j表示从第p个数据块到节点j的网络距离，dbp表示第p个数据块的大小，且有p∈[1，Spark集群中数据块的总数Num2]； 3创建一个Num1行、Num2列的矩阵Matrix1，该矩阵Matrix1中第l行第p列的元素Matri1lp就是步骤2得到的执行器l处理Spark集群中第p个数据块的通信开销； 4创建一个Num1行、Num2列的矩阵Matrix2，该矩阵第l行第p列的元素Matri2lp取值为0或1，其中1代表数据块p是放置在执行器上l执行，0代表数据块p不是放置在执行器l上执行； 5根据步骤3得到的矩阵Matrix1和步骤4得到的矩阵Matrix2，获取最小总通信成本的目标函数MinCostMatrix2,Matrix1；最小总通信成本的目标函数等于： 其中向量Marix2Vp表示矩阵Matrix2中的第p列，Matrix1VpT表示矩阵Matrix1中第p列的转置矩阵； 6使用匈牙利算法对步骤5得到的最小总通信成本的目标函数进行求解，以获取任务调度分配表； 7根据步骤6得到的任务调度分配表，将所有待处理任务调度到Spark集群中的所有执行器，以得到调度结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南大学，其通讯地址为：410082 湖南省长沙市岳麓区麓山南路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。