山东浪潮智能生产技术有限公司魏霞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东浪潮智能生产技术有限公司申请的专利一种ETL管道动态资源优化方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120578482B 。
龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511086421.5,技术领域涉及:G06F9/48;该发明授权一种ETL管道动态资源优化方法、系统、设备及介质是由魏霞;秦念彬;薛志清;陈实如;徐光彩设计研发完成,并于2025-08-05向国家知识产权局提交的专利申请。
本一种ETL管道动态资源优化方法、系统、设备及介质在说明书摘要公布了:本申请涉及ETL资源优化技术领域,具体涉及一种ETL管道动态资源优化方法、系统、设备及介质,包括:采集ETL管道运行环境时序数据,按时间窗口划分后进行标准化处理;使用线性负载预测模型生成系统负载指标线性预测序列;使用预训练的多维时序负载预测模型生成系统负载指标耦合预测序列;将两种预测序列整合后进行反标准化得到原始系统负载指标综合预测序列;基于原始系统负载指标综合预测序列识别系统负载的高峰时段、低谷时段和资源异常紧张时段,根据识别结果动态调整ETL任务的调度策略并执行。本申请通过采集多源时序数据、结合两种模型生成综合预测序列,并动态调整调度策略,实现了ETL管道资源的自动化优化和系统效率提升。
本发明授权一种ETL管道动态资源优化方法、系统、设备及介质在权利要求书中公布了:1.一种ETL管道动态资源优化方法,其特征在于,包括: S1.采集ETL管道运行环境时序数据,包括ETL管道运行环境内的工业设备指标、ETL任务调度指标和计算集群系统负载指标的时序数据; S2.对ETL管道运行环境时序数据按时间窗口划分,然后进行标准化处理得到ETL管道运行环境时序数据的标准化观测值,并整理成每个时间窗口的标准化特征向量; S3.将计算集群系统负载指标时序数据的标准化观测值输入线性负载预测模型,生成指定连续预测步长的系统负载指标线性预测值,构成系统负载指标线性预测序列,线性负载预测模型基于ARIMA算法构建; S4.将连续时间窗口的标准化特征向量输入预训练的多维时序负载预测模型,生成指定连续预测步长的系统负载指标耦合预测值,构成系统负载指标耦合预测序列,多维时序负载预测模型基于LSTM算法构建; 使用预训练的多维时序负载预测模型生成指定连续预测步长的系统负载指标耦合预测值的步骤包括: S401.将每个标准化特征向量拆分为输入特征向量和对应的多维标签,标准化特征向量由工业设备指标和ETL任务调度指标的标准化观测值组成,多维标签由计算集群系统负载指标的标准化观测值组成; S402.对标准化特征向量使用主成分分析算法进行降维,得到降维特征向量,为第个降维后的特征,为降维后的维度; S403.将连续时间窗口的降维特征向量输入预训练的多维时序负载预测模型,生成指定连续预测步长的系统负载指标耦合预测值; S5.将系统负载指标线性预测序列和系统负载指标耦合预测序列整合为系统负载指标综合预测序列,对系统负载指标综合预测序列进行反标准化得到原始系统负载指标综合预测序列; S6.基于原始系统负载指标综合预测序列识别ETL管道运行环境内系统负载的高峰时段、低谷时段和资源异常紧张时段,根据识别结果动态调整ETL任务的调度策略; S7.执行调整后的调度策略。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东浪潮智能生产技术有限公司,其通讯地址为:250000 山东省济南市中国(山东)自由贸易试验区济南片区浪潮路1036号浪潮科技园S02号楼19层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励