买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门市美亚柏科信息股份有限公司申请的专利一种用于轻客户端的Spark作业提交方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115934286B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211667536.X，技术领域涉及：G06F9/48；该发明授权一种用于轻客户端的Spark作业提交方法和系统是由张凤;魏超;朱海勇;沈代明;陈子沣;王杰诚设计研发完成，并于2022-12-23向国家知识产权局提交的专利申请。

本一种用于轻客户端的Spark作业提交方法和系统在说明书摘要公布了：公开了用于轻客户端的Spark作业提交方法和系统，包括动态代理接收到前端用户发送的作业处理请求，选择第一后端服务处理请求；第一后端服务将请求写入消息队列，通知前端用户请求提交成功进入调度队列等待处理；集群中空闲的第二后端服务从消息队列中获取请求，第二后端服务利用Spark驱动进程调用集执行器对请求进行调度执行，定时将处理进度、结果和采样数据写入NoSQL数据库；前端用户接收到请求提交成功信息后向动态代理发送获取实时进度和处理结果的请求，动态代理根据请求信息，选择第三后端服务处理，从数据库中获取实时进度和处理结果返回前端用户。本申请能够减轻边缘节点服务器的资源使用负担，降低故障发生频率，高效地实现轻客户端的交互效果。

本发明授权一种用于轻客户端的Spark作业提交方法和系统在权利要求书中公布了：1.一种用于轻客户端的Spark作业提交方法，其特征在于，包括： S1：响应于动态代理HAProxy接收到前端用户发送的作业处理请求，根据负载均衡策略选择第一后端服务处理所述作业处理请求； S2：所述第一后端服务将所述作业处理请求写入消息队列，通知所述前端用户所述作业处理请求提交成功进入调度队列等待处理； S3：YARN集群中其他空闲的第二后端服务从所述消息队列中获取到所述作业处理请求，所述第二后端服务利用Spark驱动进程调用集群中的执行器对所述作业处理请求进行调度执行，定时将处理进度写入NoSQL数据库，并将处理结果和采样数据写入所述NoSQL数据库； S4：所述前端用户从所述S2中接收到所述作业处理请求提交成功的信息后向所述动态代理HAProxy发送获取作业实时进度和处理结果的请求信息，所述动态代理HAProxy根据所述请求信息，按照负载策略选择第三后端服务进行处理，从所述NoSQL数据库中获取作业实时进度和处理结果并通过所述动态代理HAProxy返回所述前端用户； 通过动态代理服务屏蔽所述前端用户与所述YARN集群之间的直接交互访问，所述动态代理服务具体包括： 在所述YARN集群边缘节点服务器上启动Launcher服务，启动并保持一或多个轻量级Web应用服务，所述Launcher配置用于监听并保证在所述YARN集群中始终能运行一或多个轻量级Web应用服务； 启动成功的轻量级Web应用服务将其所在IP和监听窗口通过HAProxy动态配置接口注册至HAProxy后端配置中； HAProxy动态配置接口根据最新配置动态重载HAProxy，对外提供统一代理服务，将Spark相关请求转发至分散在所述YARN集群中的轻量级Web应用服务上进行处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门市美亚柏科信息股份有限公司，其通讯地址为：361000 福建省厦门市思明区软件园二期观日路12号102-402单元；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。