中电工业互联网有限公司刘洋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中电工业互联网有限公司申请的专利多源异构离线数据处理方法、系统、设备和介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116894040B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311080995.2,技术领域涉及:G06F16/22;该发明授权多源异构离线数据处理方法、系统、设备和介质是由刘洋;曹林;涂平;梁春峰;张林宇;刘准;贺群雄;仇亚龙;贺若龙;李志超;彭中益;王斯政;廖佳佳;刘博设计研发完成,并于2023-08-25向国家知识产权局提交的专利申请。
本多源异构离线数据处理方法、系统、设备和介质在说明书摘要公布了:本申请涉及多源异构离线数据处理方法、系统、设备和介质,该方法通过基于可视界面配置减少人工操作,降低系统开发难度;采用DAG插件数据表配置实现零代码开发,表关系动态编排增加灵活性;设计数据表实体建模模型,对集成插件中数据表进行特征建模;设计多源类型建表语句模板,减少人工编码,统一数据源连接,增加系统扩展性;设计多源建表实例构建过程,自动构建目标表建表语句;设计多源类型目标表创建过程,自主完成高效的目标表创建操作;最终,通过离线数据表处理实现数据集成在多个环节上一体化,大幅降低了多源异构类型数据表的离线数据处理复杂度。
本发明授权多源异构离线数据处理方法、系统、设备和介质在权利要求书中公布了:1.一种多源异构离线数据处理方法,其特征在于,包括步骤: 在异构数据源的数据源管理页面中添加各离线数据源、配置数据源连接信息并完成连通性测试;所述离线数据源包括MySQL数据源、DB2数据源、Hive数据源、Phoenix数据源、ClickHouse数据源和Doris数据源; 在异构数据源的数据集管理页面选择数据源中的数据表,同步数据表的元数据信息并将元数据信息保存至数据集表;所述元数据信息包括数据表名、字段名称、字段类型、主键字段、分区字段和索引字段; 基于DAG界面操作创建与编辑DAG集成画布并保存至画布表; 利用离线集成画布插件模型在所述DAG集成画布中基于DAG拖拉拽动态选择集成插件;所述集成插件包括输入插件、转换插件和输出插件; 在所述DAG集成画布中选择输入插件并配置输入表,选择转换插件并配置转换规则,选择输出插件并配置输出表; 在所述DAG集成画布中,利用数据表关系配置模型构建所述集成插件中数据表之间的转换关系; 在所述DAG集成画布中,利用数据表实体建模模型对所选择的输入表与输出表进行数据表实体建模,利用转换规则实体建模模型对转换规则进行数据建模; 在所述DAG集成画布中,利用输入表实体构建模型对输入插件中输入表配置进行实例化转换,得到输入表实体并保存至数据表实体表; 在所述DAG集成画布中,利用转换规则实体构建模型对转换插件中转换规则配置进行实例化转换,得到转换规则实体并保存至转换规则实体表; 在所述DAG集成画布中,利用输出表实体构建模型、所述数据表关系配置模型与所述数据表实体建模模型,构建输出表实体并保存至所述数据表实体表; 利用多源建表模板筛选过程模型,获取所述输出表实体的数据源类型后通过类型判定与模板筛选,得到目标表的建表语句模板; 在所述DAG集成画布中,利用多源目标表建表实例构建模型将所述建表语句模板与所述输出表实体的参数配置进行匹配,得到所述目标表的建表语句实例; 利用多源目标表自主创建模型,根据输出表实体的数据源类型自动连接数据源并执行目标表创建过程,得到创建的所述目标表;其中,通过采用Spark离线计算引擎实现所述目标表的创建,以及实现基于异构类型数据表的离线数据处理全部过程。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中电工业互联网有限公司,其通讯地址为:410000 湖南省长沙市长沙高新开发区尖山路39号长沙中电软件园一期10栋801;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励