买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利Kubernetes环境下的Spark数据本地性优化系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119781931B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411896740.8，技术领域涉及：G06F9/48；该发明授权Kubernetes环境下的Spark数据本地性优化系统是由路正亮;归琳;任锐设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本Kubernetes环境下的Spark数据本地性优化系统在说明书摘要公布了：一种KUBERNETES环境下的SPARK数据本地性优化系统，包括：Spark驱动模块和Kubernetes网络插件模块，其中：Spark驱动模块根据客户端的计算任务请求，调用系统指令获取HDFS的网络地址IP和集群相关信息并根据该网络地址IP信息计算数据本地性后对计算任务进行节点分配；Kubernetes网络插件模块接收Spark驱动模块的调用并对计算任务指定所在容器的IP网络地址。本发明通过优化Spark驱动模块和调整Kubernetes内网络插件改进在Kubernetes环境中Spark的数据本地性，能够实现Spark作业对HDFS数据IP地址的识别的同时显著降低Spark任务执行过程中的网络传输吞吐开销，进而优化Spark在Kubernetes环境下的作业执行性能。

本发明授权Kubernetes环境下的Spark数据本地性优化系统在权利要求书中公布了：1.一种KUBERNETES环境下的SPARK数据本地性优化系统，其特征在于，包括：Spark驱动模块和Kubernetes网络插件模块，其中：Spark驱动模块根据客户端的计算任务请求，调用系统指令获取HDFS的网络地址IP和集群相关信息并根据该网络地址IP信息计算数据本地性后对计算任务进行节点分配；Kubernetes网络插件模块接收Spark驱动模块的调用并对计算任务指定所在容器的IP网络地址； 所述的Spark驱动模块包括：初始化单元、计算资源判断单元、数据本地性处理单元和任务调度集成单元，其中：初始化单元根据客户端的任务信息初始化任务配置数据，计算资源判断单元根据任务配置数据、HDFS数据与HDFS节点信息判断是否满足执行要求，数据本地性处理单元根据HDFS数据对计算资源分配和任务放置进行干预，任务调度集成单元整合信息并生成YAML配置文件后提交至Kubernetes网络插件模块； 所述的任务配置数据是指：根据客户端的Spark任务配置，将HDFS网络地址IP在所有节点中设置为ENV环境变量，并通过该HDFS网络地址IP执行HDFS指令hdfsdfsadmin-report获取当前集群中所有节点的HDFS节点信息后，调用系统调用top指令获取当前集群中工作负载节点的最大CPU核心数C和最大可使用内存M并将这些数据分别输出至计算资源判断单元和数据本地性处理单元； 所述的干预是指：根据HDFS数据的分布对集群中节点标注标签，即共N个工作负载节点中实际HDFS放置有数据的节点为其中的M个时，对该M个节点在Kubernetes中打上计算亲和性标签compute_label=true，剩余N-M个节点不变，MN； 所述的提交是指：将初始化单元、计算资源判断单元和数据本地性处理单元输出的所有信息整合为YAML配置文件并使用指令kubectlapply-fcfg.yaml，通过HDFS网络地址IP推送至Kubernetes网络插件模块； 所述的YAML配置文件包括：Spark执行器数量e、单个Spark执行器所需的CPU核心数c和内存大小m以及HDFS网络地址IP； 所述的对计算任务指定所在容器的IP网络地址是指：Kubernetes网络插件模块根据Spark驱动模块的网络创建请求，将工作容器的网络地址IP指定为与工作容器目标节点相同的网络地址IP，即更新Kubernetes的hostnetwork配置为true。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。