西安烽火软件科技有限公司曹俊亮获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安烽火软件科技有限公司申请的专利一种基于读写分离的HDFS随机读加速方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115827586B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211518567.9,技术领域涉及:G06F16/182;该发明授权一种基于读写分离的HDFS随机读加速方法是由曹俊亮;程丽红;延瑜瑜;刘伟;袁鸽鸽;高超设计研发完成,并于2022-11-30向国家知识产权局提交的专利申请。
本一种基于读写分离的HDFS随机读加速方法在说明书摘要公布了:本发明公开了一种基于读写分离的HDFS随机读加速方法,涉及大数据存储领域,将HDFS的读和写完全分离。数据的读写依然采取HDFS的API,写入以顺序写为主,保持原HdfsDirectory机制不变;将查询逻辑下沉至DataNode,直接读取本地磁盘文件,从而简化读的流程,使性能接近本地文件系统的性能;同时利用HDFS的分布式及副本机制,即能保证数据本地读,同时简化了设计,基于DataNode进程建立DNGrpcServer服务,简化数据读取流程,处理数据读取请求,拿到NameNode查询的文件位置直接向对应的块位置的DataNode发送gRPC请求,通过传输粒度的较少加速数据传输,直接读取文件所在的磁盘位置,提高随机读能力。
本发明授权一种基于读写分离的HDFS随机读加速方法在权利要求书中公布了:1.一种读写分离的HDFS随机读加速方法,其特征在于:具体包含如下步骤; 步骤1,将HDFS的读和写完全分离;HDFS为Hadoop分布式文件系统; 步骤2,将查询逻辑下沉至数据节点DataNode,直接读取本地磁盘文件,从而简化读的流程,使性能接近本地文件系统的性能; 步骤3,利用HDFS的分布式及副本机制进行操作,文件的每个块都有多个副本存储在不同的数据节点DataNode上,数据节点DataNode会定时将磁盘块数据向名称节点NameNode进行汇报,客户端查询时优先读取数据节点DataNode的本地磁盘文件,保证数据的本地读取; 在步骤1中,数据的读和写采取HDFS的应用程序编程接口API,写入以顺序写为主,保持原分布文件系统文件夹HdfsDirectory机制不变; 在步骤1中,HDFS读,具体包含如下步骤: 步骤1.1,HDFS客户端Client向名称节点NameNode发起远程过程调用RPC,获得文件的块信息; 步骤1.2,HDFS客户端Client根据块位置信息通过Google远程过程调用gRPC向指定数据节点DataNode发起连接; 步骤1.3,数据节点DataNode的数据节点远程过程调用服务DNGrpcServer收到请求之后,初始化块读取器BlockReader对象进行本地短路读,读完数据之后构造Google远程过程调用gRPC返回; 步骤1.4,继续访问名称节点NameNode读取下一个块block,重复步骤1.2和步骤1.3直至数据读完; 步骤1.5,HDFS客户端Client将所有读的数据写入目标文件; 步骤1.6,关闭连接。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安烽火软件科技有限公司,其通讯地址为:710077 陕西省西安市长安区坤元路678号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励