中电信数智科技有限公司时盈晨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中电信数智科技有限公司申请的专利基于flink的实时数据采集处理与转储系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116010454B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211523669.X,技术领域涉及:G06F16/2455;该发明授权基于flink的实时数据采集处理与转储系统是由时盈晨;许磊设计研发完成,并于2022-11-30向国家知识产权局提交的专利申请。
本基于flink的实时数据采集处理与转储系统在说明书摘要公布了:基于flink的实时数据采集处理与转储系统,包括:数据采集模块,获取指标数据,并将指标数据储存到Zabbix数据库中;数据缓存模块,构建定时任务,再将Zabbix数据库中的指标数据通过定时任务结合业务数据库信息进行更新或者补充,存入redis缓存;和数据转储模块,flink读取缓存后的指标数据,将缓存后的指标数据按照指标分流处理转储到业务数据库中,通过数据采集模块的Zabbix数据库、数据缓存模块的redis缓存、数据转储模块的flink服务器和数据转储模块的kafka中间件组成了一个完整的实时数据采集与转储系统,通过数据转储模块的分流过程和设置水位线触发输出,在数据信息持续增大时实时提高整个实时数据采集与转储系统的并行度,从而缓解数据压力,避免数据压力过大时会导致监控系统无法正常工作,进而提高系统稳定性。
本发明授权基于flink的实时数据采集处理与转储系统在权利要求书中公布了:1.基于flink的实时数据采集处理与转储系统,其特征在于,包括:数据采集模块,获取指标数据,并将指标数据储存到Zabbix数据库中; 数据缓存模块,构建定时任务,再将Zabbix数据库中的指标数据通过定时任务结合业务数据库信息进行更新或者补充,存入redis缓存;和 数据转储模块,读取缓存后的指标数据,将缓存后的指标数据按照指标分流处理转储到业务数据库中; 所述定时任务具体是周期性地同步Zabbix数据库中的指标数据,并获取本地业务数据库中的信息,将数据库中的指标数据与本地业务数据库中的信息结合得到完整的指标数据,再将完整的指标数据储存到redis缓存中; 所述数据转储模块包括flink服务器和kafka中间件,所述flink服务器读取kafka中间件的推送数据和redis缓存中完整的指标数据,并将kafka的推送数据与redis缓存中完整的指标数据进行融合,所述kafka中间件用于辅助flink服务器消费处理redis缓存中完整的指标数据; 所述分流处理的具体过程为: 通过flink服务器定时读取redis缓存中完整的指标数据,并将定时redis缓存中完整的指标数据与已读取kafka数据库的信息进行融合,再将融合后的完整的指标数据根据指标类型进行分流,并通过设置水位线触发输出,接着在融合后的完整的指标数据中添加随机key,通过随机key对融合后的完整的指标数据进行第二次分流,再通过trigger配置时间窗口,通过时间窗口触发水位线触发输出,将融合后的完整的指标数据汇聚为list列表分类存入业务数据库; 所述水位线触发输出具体是获取A、B、X和Y,并设置S,若系统的当前时间同时大于A-B+X+S和Y+S,强制触发数据进行第三次分流,将第三次分流后的融合后的完整的指标数据汇聚为list列表,其中A表示时间戳内的最早到达的事件时间、B表示时间戳内的最晚到达的事件时间、X表示时间戳内的最早到达的数据的系统时间、Y表示时间戳内的最晚到达的数据的系统时间、S表示一个延迟时间。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中电信数智科技有限公司,其通讯地址为:100036 北京市海淀区复兴路33号13层东塔13层1308室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。