成方金融科技有限公司梁洪涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉成方金融科技有限公司申请的专利一种Hive表可重复可追溯数据处理方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120371818B 。
龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510876769.8,技术领域涉及:G06F16/21;该发明授权一种Hive表可重复可追溯数据处理方法及装置是由梁洪涛;兰劭慜设计研发完成,并于2025-06-27向国家知识产权局提交的专利申请。
本一种Hive表可重复可追溯数据处理方法及装置在说明书摘要公布了:本发明提供一种Hive表可重复可追溯数据处理方法及装置,涉及大数据处理技术领域。包括:设置批处理任务的来源表、结果表、校验表和版本表。批处理任务调用开始,读取调用参数。当执行方式为追溯统计时,将版本表中任务日期对应的分区数据迁移覆盖写入结果表和校验表。当执行方式为重复统计时,直接从来源表中读取任务日期对应的原始数据,执行任务日期对应的批处理任务。在批处理任务执行成功的情况下,将处理结果数据覆盖写入结果表和校验表,并在任务日期为版本管理日时将处理结果数据覆盖写入版本表中任务日期对应的分区表。实现批处理任务的可重复执行、数据版本可回溯管理,并同时适用于分区表和非分区表的统一处理流程。
本发明授权一种Hive表可重复可追溯数据处理方法及装置在权利要求书中公布了:1.一种Hive表可重复可追溯数据处理方法,其特征在于,包括: 设置批处理任务的来源表、结果表、校验表和版本表,其中,所述结果表为Hive表,所述校验表的结构和所述版本表的结构与所述结果表的结构相同;所述来源表中存储有待处理的原始数据; 批处理任务调用开始,读取调用参数;其中,所述调用参数包括执行方式和任务日期,所述执行方式包括标准统计、追溯统计和重复统计; 当所述执行方式为追溯统计时,将所述版本表中所述任务日期对应的分区数据迁移覆盖写入所述结果表和所述校验表; 当所述执行方式为重复统计时,直接从所述来源表中读取所述任务日期对应的原始数据,执行所述任务日期对应的批处理任务; 当所述执行方式为标准统计时,校验比对所述结果表和所述校验表的数据一致性,若一致则从所述来源表中读取所述任务日期对应的原始数据,执行所述任务日期对应的批处理任务; 在批处理任务执行成功的情况下,获取对应的处理结果数据,将处理结果数据覆盖写入所述结果表和所述校验表,并在所述任务日期为版本管理日时将处理结果数据覆盖写入所述版本表中所述任务日期对应的分区表; 所述结果表存储全量的处理结果数据,数据量为n;校验表仅保留上一次加工处理的处理结果数据,数据量为1;版本表存储根据需要抽样归档的处理结果数据,数据量为m,且满足1mn。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人成方金融科技有限公司,其通讯地址为:100033 北京市西城区金融街百盛大厦9层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励