中信银行股份有限公司王西斌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中信银行股份有限公司申请的专利一种基于数据密度的Hive任务并行度控制方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116431604B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310343366.8,技术领域涉及:G06F16/21;该发明授权一种基于数据密度的Hive任务并行度控制方法及系统是由王西斌设计研发完成,并于2023-03-31向国家知识产权局提交的专利申请。
本一种基于数据密度的Hive任务并行度控制方法及系统在说明书摘要公布了:本发明涉及一种基于数据密度的Hive任务并行度控制方法及系统,建立数据密度配置参数并依据该参数获得用于比较的并行度,从而对hive内部机制分配的map数量和reduce数量进行针对性调整,在数据体积基础上引入单个并行平均处理记录数概念,增加了并行度控制算法对于数据表字段数量变化的适用性,降低人工调整集群参数的机率,提升并行度控制算法对数据表字段数量变化的适用性和控制算法参数的可理解性。
本发明授权一种基于数据密度的Hive任务并行度控制方法及系统在权利要求书中公布了:1.一种基于数据密度的Hive任务并行度控制方法,其特征在于,包括: S1、建立数据密度配置参数,所述数据密度包括表行数; S2、设置数据密度配置参数的默认值,所述默认值包括每个map或reduce对应的表行数; S3、获取计算任务对应的第一并行度,所述第一并行度包括hive内部机制当前分配的map数量和reduce数量; S4、获取计算任务表行数,通过默认值计算得到第二并行度,所述第二并行度包括计算任务数据密度对应的map数量和reduce数量; S5、比较第一并行度和第二并行度,根据其中较大值设定调整值; S6、使用调整值重新设定hive内部机制分配的map数量和reduce数量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中信银行股份有限公司,其通讯地址为:100020 北京市朝阳区光华路10号院1号楼6-30层、32-42层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励