福建天泉教育科技有限公司刘德建获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福建天泉教育科技有限公司申请的专利一种减少元数据数量的优化方法及终端获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118426684B 。
龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410385550.3,技术领域涉及:G06F3/06;该发明授权一种减少元数据数量的优化方法及终端是由刘德建;张少敏;郭孟祺;郑坦;郑锦斌;陈宏设计研发完成,并于2024-04-01向国家知识产权局提交的专利申请。
本一种减少元数据数量的优化方法及终端在说明书摘要公布了:本发明提供的一种减少元数据数量的优化方法及终端,包括将各个待存储文件写入本地文件目录中;预先获取所述待存储文件将会写入的指定hdfs分区,并计算所述指定hdfs分区的平均文件大小;将占用内存小于所述平均文件大小的所述待存储文件合并为至少一个总占用内存大于或等于所述平均文件大小的大文件;将所述大文件和占用内存大于或等于所述平均文件大小的所述待存储文件依次上传至所述指定hdfs分区。本发明能够避免文件合并场景下部分数据不可用的问题,同时能有效减少元数据的数量,进而减少分布式文件系统的内存资源占用,提高系统效率。
本发明授权一种减少元数据数量的优化方法及终端在权利要求书中公布了:1.一种减少元数据数量的优化方法,其特征在于,包括步骤: S1、将各个待存储文件写入本地文件目录中; S2、预先获取所述待存储文件将会写入的指定hdfs分区,并计算所述指定hdfs分区的平均文件大小; S3、将占用内存小于所述平均文件大小的所述待存储文件合并为至少一个总占用内存大于或等于所述平均文件大小的大文件; S4、将所述大文件和占用内存大于或等于所述平均文件大小的所述待存储文件依次上传至所述指定hdfs分区; 所述步骤S2具体为: S21、周期性统计每一个hdfs分区中的平均文件大小; S22、分布式系统的中心节点预先通过hash算法计算所述待存储文件的md5值,并根据md5值结果判断所述待存储文件写入的指定hdfs分区; S23、获取所述指定hdfs分区的所述平均文件大小; 所述步骤S3还包括: 当所述本地文件目录中剩余的占用内存小于所述平均文件大小的所述待存储文件数量小于预设数量时,直接将剩余数量的所述待存储文件合并至随机一个所述大文件中; 所述步骤S4之后还包括: S5、所述指定hdfs分区生成与所述大文件和占用内存大于或等于所述平均文件的所述待存储文件的数量之和个数相同的元数据信息,对上传的所述大文件和占用内存大于或等于所述平均文件大小的所述待存储文件进行存储。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福建天泉教育科技有限公司,其通讯地址为:350212 福建省福州市长乐区湖南镇大鹤村(福建天棣动漫科技有限公司);或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励