杭州登虹科技有限公司刘波获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州登虹科技有限公司申请的专利一种私有云数据传输方法及数据管理平台获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114297281B 。
龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111613553.0,技术领域涉及:G06F16/25;该发明授权一种私有云数据传输方法及数据管理平台是由刘波;陈帅斌;蒋泽飞;王晨程设计研发完成,并于2021-12-27向国家知识产权局提交的专利申请。
本一种私有云数据传输方法及数据管理平台在说明书摘要公布了:本发明公开了一种私有云数据传输方法及数据管理平台,涉及大数据处理技术领域,所述方法主要包括:利用flume组件、sqoop组件和datax组件采集异构数据,并通过canal组件将所述异构数据统一传输到kafka组件中,同时将所述异构数据分别存储在hive组件和hbase组件中;利用MapReduce组件和Spark组件对存储在hive组件中的数据进行离线计算;利用phoenix组件为存储在hbase组件中的数据添加二级索引,并利用Spark组件和flink组件对数据进行实时计算;利用DBapi组件为所述hive组件和所述hbase组件提供一致的访问接口,以实现数据的输出。本方案中将离线数据统一存储在hive组件中,实时数据通过flink组件或Spark组件编写ETL后实时传输到hbase组件,且hbase组件使用phoenix组件作为客户端连接DBapi组件,实现了多源数据统一输出存储。
本发明授权一种私有云数据传输方法及数据管理平台在权利要求书中公布了:1.一种私有云数据传输方法,其特征在于,包括以下步骤: 利用flume组件、sqoop组件和datax组件采集异构数据,并通过canal组件将所述异构数据统一传输到kafka组件中; kafka组件接收所述异构数据,并按照数据类型将所述异构数据分别存储在hive组件和hbase组件中,所述数据类型包括离线数据和实时数据; 利用MapReduce组件和Spark组件对存储在hive组件中的数据进行离线计算; 利用phoenix组件为存储在hbase组件中的数据添加二级索引,并利用Spark组件和flink组件对数据进行实时计算; 利用DBapi组件为所述hive组件和所述hbase组件提供一致的访问接口,以实现数据的输出; 其中,所述利用DBapi组件为所述hive组件和所述hbase组件提供一致的访问接口,以实现数据的输出还包括: 通过DBapi组件连接phoenix组件编写SQL语句以实现hbase组件中数据的实时输出; 使用javaspringboot框架,封装jdbc驱动,解析json参数,拼接动态SQL,使用SQL语言开发,连接数据库并编写数据接口; 所述私有云架构包含ApacheDolphinScheduler、CDH和Dbapi组件,还包含flink组件、phoenix组件、sqoop组件、kafka组件和datax组件。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州登虹科技有限公司,其通讯地址为:310000 浙江省杭州市西湖区天堂软件园A幢18楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励