浪潮云信息技术股份公司方建勋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮云信息技术股份公司申请的专利一种Postgres表全量采集方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117493455B 。
龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311423035.1,技术领域涉及:G06F16/27;该发明授权一种Postgres表全量采集方法是由方建勋;邓光超;唐晓东设计研发完成,并于2023-10-31向国家知识产权局提交的专利申请。
本一种Postgres表全量采集方法在说明书摘要公布了:本发明特别涉及一种Postgres表全量采集方法。该Postgres表全量采集方法,通过增量日志来捕获数据的变更,通过ctid快速定位到表格中的某条记录;通过数据采样tablesample来获取分片区间,采样函数使用编程器PG提供的bernoulli函数;源端数据库与采集端程序使用同步辅助表记录每个分片的条件与执行情况,所述同步辅助表包括Tableinfos表和Tableshards表;依据两个同步辅助表中的状态数据,在同步时及时更新,循环获取待同步的表的分片,完成整个任务所有表的全量数据同步。该Postgres表全量采集方法,有效解决了大表数据分片不均匀问题,且适用于无主键表,基于数据库增量日志实现了分片采集的一致,为增量数据同步的准确性打好了基础,同时采集期间,该表仍能正常提供数据修改服务,对业务无影响。
本发明授权一种Postgres表全量采集方法在权利要求书中公布了:1.一种Postgres表全量采集方法,其特征在于:包括以下步骤: 步骤S1:基于Postgres表ctid进行全量分片; 通过增量日志来捕获数据的变更,通过ctid快速定位到表格中的某条记录;通过数据采样tablesample来获取分片区间,采样函数使用编程器PG提供的bernoulli函数; 步骤S2:使用数据库增量日志保证全量数据最终一致; 在全量采集之前,创建一个增量采集slot,用于记录当前日志序列编号LSN的位置; 在全量采集完成后,获取增量日志,通过解析日志获取增量变更; 源端数据库与采集端程序使用同步辅助表记录每个分片的条件与执行情况,所述同步辅助表包括Tableinfos表和Tableshards表; 所述Tableinfos表用于记录所有需要全量同步的表,以及是否同步完成,记载内容包括所有需要全量同步的表的表唯一标识Table_id,模式名Shema_name,表名Table_name,标记是否分片完成Shard_completed,标记是否全量完成Completed和记录增量点Checkpoint;若完成,则标记是否分片完成Shard_completed与标记是否全量完成Completed为1,若未完成则为0; 所述Tableshards表用于记录所有全量同步的表的表唯一标识所有的分片的执行条件,以及是否同步完成;记载内容包括所有全量同步的表的表唯一标识Table_id,分片序号Shard_id,标记是否分片完成Completed和条件Condition;若完成,则标记是否分片完成Completed为1,若未完成则为0; 依据两个同步辅助表中的状态数据,在同步时及时更新,循环获取待同步的表的分片,完成整个任务所有表的全量数据同步。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮云信息技术股份公司,其通讯地址为:250100 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。