买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南兴盛优选电子商务有限公司申请的专利一种流任务和批任务一体化的分布式任务调度方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115168037B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210781586.4，技术领域涉及：G06F9/50；该发明授权一种流任务和批任务一体化的分布式任务调度方法及系统是由陈奉刚;林庭毅;管贤春;屈军;贺年春设计研发完成，并于2022-07-04向国家知识产权局提交的专利申请。

本一种流任务和批任务一体化的分布式任务调度方法及系统在说明书摘要公布了：本发明公开了一种流任务和批任务一体化的分布式任务调度方法，包括：Master节点和Worker节点注册；主和备Master孵化任务，分发任务，Master节点孵化出具体实例和任务实例，然后根据任务依赖关系，依次将任务实例分发给Worker节点；Worker节点收到消息后，将任务进行分类，通过本地任务线程池和远端任务线程池进行管理；当远端任务提交后，将远端任务转移到任务状态监测队列，从而释放任务提交线程，提升任务提交的并行度；在状态检查流程中，采用任务定时汇报机制，另外使用少量线程扫描防任务突发故障而来不及汇报状态情况。本发明不断优化任务状态检查机制，降低了资源的消耗，实现对流任务与批任务的统一化有效管理。

本发明授权一种流任务和批任务一体化的分布式任务调度方法及系统在权利要求书中公布了：1.一种流任务和批任务一体化的分布式任务调度方法，其特征在于，所述调度方法包括以下步骤： 系统启动时Master节点和Worker向Zookeeper进行注册，Master节点之间通过Zookeeper选出主Master； 主和备Master孵化任务，分发任务，用户创建DAG后，Master节点将DAG孵化出具体DAG实例和任务实例，然后根据任务依赖关系，离线任务可以不停探测检查流任务的数据处理时间，达到特定条件时触发离线任务的调度，从而实现流批任务的依赖建立，将流任务和批任务进行统一管理后，批任务持续探测检查流任务的数据处理时间，达到特定条件时触发批任务的调度，依次将任务实例分发给Worker节点； Worker节点收到消息后，将任务进行分类，通过本地任务线程池和远端任务线程池进行管理； 当远端任务提交后，将远端任务转移到任务状态监测队列，从而释放任务提交线程，提升任务提交的并行度； 在状态检查流程中，采用主动汇报模式和防故障定时机制，即在任务中启动一个线程，定时向Worker汇报一次状态，将长时间的任务状态监控过程转化为队列里的一条记录和周期性消息，Yarn集群故障情况下，Worker节点如果多个周期未收到任务状态消息，进行一次扫描，判断任务的状态，共用少量线程完成大量任务的检查。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南兴盛优选电子商务有限公司，其通讯地址为：410205 湖南省长沙市长沙高新开发区青山路662号芯城科技园1号栋801室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。