买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东技术师范大学申请的专利基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120067070B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510221087.3，技术领域涉及：G06F16/182；该发明授权基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法是由魏文国;蔡君;谢桂园;戴青云;彭建烽设计研发完成，并于2025-02-27向国家知识产权局提交的专利申请。

本基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法在说明书摘要公布了：本发明属于计算机技术领域，公开了一种基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法，如下：接收用户输入的小文件读取请求，判定读取请求的文件是否为小文件；若不是，则向HDFS系统中的NameNode发送请求，所述NameNode根据元数据信息从DataNode中读取相应的文件；若是，则按照小文件完整路径查询Redis缓存模块，若Redis缓存模块中缓存有请求读取的小文件，则直接返回读取小文件给用户；所述Redis缓存模块根据缓存更新策略缓存有部分热度小文件，所述热度小文件是采用基于热点和时效的双重淘汰机制的热度计算公式构建的小文件访问预测模块预测得到的；若Redis缓存模块中没有请求读取的小文件，则向HDFS系统中的NameNode发送请求，所述NameNode根据元数据信息从DataNode中读取相应的文件。

本发明授权基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法在权利要求书中公布了：1.一种基于文件合并及热度和时效双重淘汰机制的Hadoop的海量小文件读取方法，所述方法适用于具有数据合并模块和Redis缓存模块的HDFS系统，其特征在于：所述方法包括步骤如下： 接收用户输入的小文件读取请求，判定读取请求的文件是否为小文件； 若不是，则向HDFS系统中的NameNode发送请求，所述NameNode根据元数据信息从DataNode中读取相应的文件； 若是，则按照小文件完整路径查询Redis缓存模块，若Redis缓存模块中缓存有请求读取的小文件，则直接返回读取小文件给用户；所述Redis缓存模块根据缓存更新策略缓存有部分热度小文件，所述热度小文件是采用基于热点和时效的双重淘汰机制的热度计算公式构建的小文件访问预测模块预测得到的； 若Redis缓存模块中没有请求读取的小文件，则向HDFS系统中的NameNode发送请求，所述NameNode根据元数据信息从DataNode中读取相应的文件； 所述缓存更新策略，包括： 在执行读取请求时，仅记录热度计算周期内访问文件的次数，直到请求次数达到countPeriod，即热度计算周期结束时，服务进程触发缓存的更新替换操作； 同时按照热度计算公式对所有文件计算热度值，并根据热度值排序，将热度值排序TOP-K的文件及其元数据采用“访问即插入”的策略缓存到Redis缓存模块中； 当Redis缓存模块的缓存空间充满后，将根据文件的热度值，选择热度值最小的文件淘汰出缓存，将热度值排序TOP-K的文件保留在缓存中，从而实现缓存数据的动态更新和优化； 所述缓存更新策略，还包括：利用系统空闲时段或低负载时段，预先将热度值排序TOP-K的文件加载到Redis缓存模块中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东技术师范大学，其通讯地址为：510000 广东省广州市天河区中山大道西293号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。