浪潮卓数大数据产业发展有限公司杨璞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮卓数大数据产业发展有限公司申请的专利一种多字段数据表治理及入库的自动化处理方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118467538B 。
龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410579469.9,技术领域涉及:G06F16/22;该发明授权一种多字段数据表治理及入库的自动化处理方法及系统是由杨璞;赵子墨;孙长杰设计研发完成,并于2024-05-11向国家知识产权局提交的专利申请。
本一种多字段数据表治理及入库的自动化处理方法及系统在说明书摘要公布了:本发明公开了一种多字段数据表治理及入库的自动化处理方法及系统,属于大数据及数据库管理技术领域,通过数据预处理,构建图模型,数据表分割,建立字段映射关系,为子表创建关联ID,设置索引导入子表,并写成自动化治理流程工具,创新策略优化算法,实现对复杂数据表的高效治理和快速入库。本发明可以实现更高效得多字段数据表治理及入库流程,大大减少手动操作,提高导入效率,确保数据的一致性和完整性,并为数据治理提供便利;灵活的入库机制可以根据数据表的结构和字段特性进行定制化的处理。
本发明授权一种多字段数据表治理及入库的自动化处理方法及系统在权利要求书中公布了:1.一种多字段数据表治理及入库的自动化处理方法,其特征在于,通过数据预处理,构建图模型,数据表分割,建立字段映射关系,为子表创建关联ID,设置索引导入子表,并写成自动化治理流程工具,创新策略优化算法,实现对复杂数据表的高效治理和快速入库; 该方法的实现过程如下: 1)数据预处理: 首先接收待治理和入库的数据表,并对数据进行清洗和预处理,去除重复、无效或格式错误的数据; 2)构建图模型: 基于业务需求和各字段之间的关联性,分析字段间的依赖关系和访问频率,构建图模型为分表做准备; 3)数据表分割: 将相关性高或访问频繁的字段聚集到一个子表中; 通过图模型分析字段之间的关联关系及关联频率,确定哪些字段应该被划分到同一个子表里面; 4)建立字段映射关系: 为每个子表建立字段映射关系,以确保不同表间数据的正确映射; 5)为子表创建关联ID,设置索引: 关联ID不仅用于标识子表,还可用于构建子表间的关联关系,实现跨表数据关联查询; 6)将数据导入子表,为子表匹配其他子表的唯一ID字段: 通过sql语句,将总表数据导入到各个子表中; 7)自动化入库工具开发: 开发多字段数据表自动化拆分工具,实现数据表的自动分割、字段映射关系的自动建立、关联ID的自动生成,自动导入子表任务; 所述数据预处理,基于分割策略和字段映射关系,实现对数据表的自动清洗、分割、转换、合并操作; 所述构建图模型,在图模型中,每个节点代表字段,边代表字段之间的关联,根据字段之间可能存在的联系为两节点之间连线; 所述数据表分割,根据数据表的特点和业务需求设计分割策略,将数据表拆分为多个子表;所述为每个子表建立字段映射关系,通过元数据管理和数据字典技术,为每个字段定义数据类型、格式、取值范围。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮卓数大数据产业发展有限公司,其通讯地址为:214000 江苏省无锡市经济开发区丰润道1号雪浪小镇数据创新中心B4栋5层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。