Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 杭州数澜科技有限公司傅思雨获国家专利权

杭州数澜科技有限公司傅思雨获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉杭州数澜科技有限公司申请的专利一种用于数据生命周期的智能识别优化系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115437997B

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210879571.1,技术领域涉及:G06F16/11;该发明授权一种用于数据生命周期的智能识别优化系统是由傅思雨;甘云锋;江敏;高雁冰;范图强设计研发完成,并于2022-07-25向国家知识产权局提交的专利申请。

一种用于数据生命周期的智能识别优化系统在说明书摘要公布了:本发明公开了一种用于数据生命周期的智能识别优化系统,包括存储管理模块和策略管理模块;存储管理包括分析模块和治理模块,分析模块通过分析文件系统的小文件数量和冷数据容量,以及存储节点的健康程度来评估系统的存储健康分;治理模块则根据健康分指定相应的存储策略,通过迁移工具实现优化存储,再通过统计图表全面掌握存储和治理情况;策略管理模块支持对分层存储策略、分析策略和压缩策略进行管理,用户为目录设置分层存储策略和压缩策略来优化文件存储;为小文件、冷数据设置分析策略帮助进行数据分析;本发明提供了能了解各个目录乃至文件的健康情况,并进行优化存储的一种用于数据生命周期的智能识别优化系统。

本发明授权一种用于数据生命周期的智能识别优化系统在权利要求书中公布了:1.一种用于数据生命周期的智能识别优化系统,其特征在于:包括存储管理模块和策略管理模块; 存储管理包括分析模块和治理模块,分析模块通过分析文件系统的小文件数量和冷数据容量,以及存储节点的健康程度来评估系统的存储健康分;治理模块则根据健康分指定相应的存储策略,通过迁移工具实现优化存储,再通过统计图表全面掌握存储和治理情况; 策略管理模块支持对分层存储策略、分析策略和压缩策略进行管理,用户为目录设置分层存储策略和压缩策略来优化文件存储;为小文件、冷数据设置分析策略帮助进行数据分析; 其中,整体技术框架的底层包括MySQL、Hive和HDFS,通过HiveClient连接Hive、WebHDFS和dfsadmin来访问HDFS,以获取Hive和HDFS的数据,并使用MyBatis与MySQL交互,用于存储数据; 具体步骤如下: 101元数据获取步骤:采用分析fsimage的方式来获取HDFS元数据; 102元数据索引步骤:将步骤101获取到的元数据文件进行解析,构建成多叉树的结构; 103数据分析步骤:进行统计目录下所有文件个数及规模和不同数据类型的个数及规模,进行总量统计、排行分析、占比分析,从而得到存储健康分; 其中,数据分析包括小文件分析、冷数据分析、热数据分析、表分析、损坏块分析和磁盘内存分析;冷数据为没有设置分层存储策略、纠删码策略的数据; 存储健康分S的计算公式如下: 其中,每一项扣分数均不能超过各项总分数;n为节点个数,为每个节点分数,w1为使用量超过阈值的磁盘节点数,m为磁盘数量,为每块磁盘的分值,w2为磁盘超过阈值的数量;y为未处理的冷数据大小,每100G,扣1分;z为文件块损坏数量,每损坏10个,扣1分;t为小文件阈值个数; 104数据策略配置步骤:包括分层存储策略、分析策略和压缩策略;分层存储策略即异构存储策略,根据数据访问的热度将数据存储在不同的存储介质上,从而使得HDFS的存储能够灵活高效地应对各种应用场景;分析策略通过设置用户对小文件的定义、小文件个数阈值的设置,设置冷数据的定义和冷数据总量的阈值,设置磁盘容量的阈值,设置系统执行分析的调度时间阈值;压缩策略设置纠删码,实现查看当前可选的所有纠删码,以保障数据迁移,并查看和记录迁移日志。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州数澜科技有限公司,其通讯地址为:310000 浙江省杭州市余杭区仓前街道良睦路1288号3幢1单元;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。