浙江网安信创电子技术有限公司赵晶骉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江网安信创电子技术有限公司申请的专利一种支持流批一体的大数据引擎分布式任务调度方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115328626B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210912229.7,技术领域涉及:G06F9/48;该发明授权一种支持流批一体的大数据引擎分布式任务调度方法是由赵晶骉;周杨;陈锡幸;王淳;谢作樟设计研发完成,并于2022-07-29向国家知识产权局提交的专利申请。
本一种支持流批一体的大数据引擎分布式任务调度方法在说明书摘要公布了:本发明公开了一种支持流批一体的大数据引擎分布式任务调度方法,具体涉及计算机领域,包括S1、多集群接入管理;S2、构建工作流DAG流程;S3、工作流实例回溯与控制和S4、作业实例数据处理反馈结果审计。本发明使数据开发人员可以通过可视化操作接入多个集群,实现任务分布式调度,合理并充分使用大数据资源;通过拖拽连线多个作业组件构建DAG工作流,合并数据处理任务,执行统一的ETL周期调度;留存工作流执行的DAG流程实例,基于工作流实例实现DAG流程的重跑、暂停、停止、恢复失败、恢复暂停、恢复停止等重新部署的动态化控制;留存作业的实例,直观表现大数据任务的反馈结果,便于数据开发者排查异常程序或任务。
本发明授权一种支持流批一体的大数据引擎分布式任务调度方法在权利要求书中公布了:1.一种支持流批一体的大数据引擎分布式任务调度方法,其特征在于:具体的调度步骤如下: S1、多集群接入管理: 通过配置hdfs-site、yarn-site或flink-site的参数实现多集群的资源接入,作业调度时指定集群执行; 用户可根据自身情况将多个集群分为开发环境、测试环境、试运行环境、生产环境,在部署程序时指定哪个环境运行; 当集群资源不足时,可在部署程序时指定其他资源较为充分的集群运行; S2、构建工作流DAG流程:通过工作流以可视化拖拽组件、连线的方式,对多个数据处理的作业任务进行合并,实现工作流DAG流程的构建; S3、工作流实例回溯与控制:基于工作流实例对ETL数据处理的DAG流程实例永久留存,工作流实例产生自工作流的调度执行,记录某时某刻工作流运行的DAG流程实例; S3.1、工作流实例编辑:工作流实例编辑应用于DAG流程执行失败、停止、暂停、结束时的优化与修正,编辑对象是已终止的工作流实例,保存时分为将修改的作业同步至原先的工作流中和不同步到原先的工作流两种情况; S3.2、工作流实例重跑:工作流实例重跑应用于DAG流程已终止的工作流实例,重跑对象是完整的DAG流程作业节点,即使成功执行的作业节点也要重新执行,重跑时工作流实例不变但重新生成新的作业实例,正在运行的工作流实例不能执行重跑操作; S3.3、工作流实例停止:工作流实例停止应用于DAG流程正在运行的工作流实例,对正在运行的工作流实例执行停止操作; S3.4、工作流实例暂停:工作流实例暂停应用于DAG流程正在运行的工作流实例,对正在运行的工作流实例执行暂停操作; S3.5、工作流实例恢复失败:工作流实例恢复失败应用于DAG流程执行失败的工作流实例,是对执行失败的工作流实例进行优化、修正后的重新部署; S3.6、工作流实例恢复停止:工作流实例恢复停止应用于DAG流程停止的工作流实例,对停止的工作流实例进行重新部署; S3.7、工作流实例恢复暂停:工作流实例恢复暂停应用于DAG流程暂停的工作流实例,对暂停的工作流实例进行重新部署; S4、作业实例数据处理反馈结果审计:作业实例由工作流中的作业调度执行产生,永久留存数据处理的实例,是大数据任务调度反馈结果的直观表现,数据开发者可通过该功能排查异常任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江网安信创电子技术有限公司,其通讯地址为:315000 浙江省宁波市海曙区丽园南路501号609-611/613-615室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励