中盈优创资讯科技有限公司闫一帅获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中盈优创资讯科技有限公司申请的专利一种提升Flink写入HDFS性能的方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115933976B 。
龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211522576.5,技术领域涉及:G06F3/06;该发明授权一种提升Flink写入HDFS性能的方法及装置是由闫一帅;毛春阳设计研发完成,并于2022-11-30向国家知识产权局提交的专利申请。
本一种提升Flink写入HDFS性能的方法及装置在说明书摘要公布了:本发明公开一种提升Flink写入HDFS性能的方法及装置,其中,该方法包括:在checkpoint快照阶段,通过文件续写的方式,将Flink任务进程内存数据续写到HDFS中,同时记录写出文件的offset;在checkpoint恢复阶段,对文件进行截断,并将文件截断到offset位置,再继续写入;在checkpoint快照阶段,将需要关闭的处于正在写入状态的文件放到异步队列中,同时将异步关闭文件操作放入状态缓存中管理;通过多线程进行处理;利用CheckpointID严格单调递增的特性,优化CheckpointID。该方法及装置可以保证数据仓库的稳定性。
本发明授权一种提升Flink写入HDFS性能的方法及装置在权利要求书中公布了:1.一种提升Flink写入HDFS性能的方法,其特征在于,该方法包括: 在checkpoint快照阶段,通过文件续写的方式,将Flink任务进程内存数据续写到HDFS中,同时记录写出文件的offset; 在checkpoint恢复阶段,对文件进行截断,并将文件截断到offset位置,再继续写入; 在checkpoint快照阶段,将需要关闭的处于正在写入状态的文件放到异步队列中,同时将异步关闭文件操作放入状态缓存中管理; 在checkpoint快照阶段,通过多线程进行处理; 在checkpoint快照阶段,利用CheckpointID严格单调递增的特性,优化CheckpointID,包括: Sink端临时目录为{dump_path}{next_cp_id},其中next_cp_id的定义是当前最新的cp_id+1; 在Checkpoint快照阶段,Sink端保存当前最新cp_id到状态缓存,同时更新next_cp_id为cp_id+1; 在Checkpoint完成阶段,将Sink端临时目录中所有小于等于当前最新cp_id的数据移动到正式目录下; 在Checkpoint恢复阶段,Sink端恢复当前最新cp_id,并将Sink端临时目录中所有小于等于当前最新cp_id的数据移动到正式目录下。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中盈优创资讯科技有限公司,其通讯地址为:200000 上海市嘉定区曹安公路4811号702室-2;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励