焦点科技股份有限公司沈浩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉焦点科技股份有限公司申请的专利一种基于规则引擎和Clickhouse的流量数仓建设方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116594982B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310589190.4,技术领域涉及:G06F16/21;该发明授权一种基于规则引擎和Clickhouse的流量数仓建设方法是由沈浩;成俊杰设计研发完成,并于2023-05-24向国家知识产权局提交的专利申请。
本一种基于规则引擎和Clickhouse的流量数仓建设方法在说明书摘要公布了:本发明公开了一种基于规则引擎和Clickhouse的流量数仓建设方法。其特征在于:通过对SDK的封装拓展,形成一套集多端用户行为数据采集的埋点SDK,其中应用端为Nginx,包括一层中转Nginx用于汇总服务器日志;流量数仓使用第二天离线数仓的数据覆盖当天实时数仓的数据;所有分析场景的SQL查询基于ClickHouse,包括业务数理统计;预设数据治理系统对埋点进行全量校验和实时验收,反馈验收失败的埋点给开发人员;规则引擎集成在埋点管理系统,分离业务决策逻辑和技术决策。达到实现高效的流量数仓建设,能够准确采集用户行为数据并进行实时处理和分析,以提高数据处理效率和准确性的效果。
本发明授权一种基于规则引擎和Clickhouse的流量数仓建设方法在权利要求书中公布了:1.一种基于规则引擎和Clickhouse的流量数仓建设方法,其特征在于,包括以下步骤: 步骤1:基于开源的埋点SDK进行各应用端SDK的封装,SDK上报的数据发送到各业务应用端,使用flume采集各个应用端日志进行解析分析,并对日志进行打印; 步骤2:将打印的日志通过flume采集落盘至hdfs文件并同时发送到kafka,作为流量数仓的数据源,所述流量数仓采用lambda架构,包括基于Spark的离线数仓,用于解析、处理T+1数据,和基于Flink的实时数仓,用于解析、梳理当天实时数据,使用集成在埋点管理系统中的规则引擎来处理数据解析逻辑,将流量数仓处理形成的结构化数据存入ClickHouse; 步骤3:基于ClickHouse的物化视图功能,针对数据分析场景生成开发报表,提供实时查询接口; 步骤4:对步骤2中存入ClickHouse的数据进行T+1数据的全量校验与实时埋点数据上报验收,并将验收结果返回给开发; 步骤5:对于步骤2,使用规则引擎新增或更新lambda架构中的业务逻辑;所述步骤5中:所述规则引擎集成在埋点管理系统,所述规则引擎为Drools,在离线和实时的预处理时映射成方法传入,在更新预处理逻辑时不改动etl本身任务,离线Spark任务在第二天运行时自动读取预处理规则表,实时Flink任务在初始化时读取预处理规则表,存入状态中,在任务运行中定时读取规则表,更新状态中预处理规则的内容,用以分离业务决策者的业务决策逻辑和应用开发者的技术决策。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人焦点科技股份有限公司,其通讯地址为:210032 江苏省南京市江北新区丽景路7号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。