北京蜂创科技有限公司郭伟峰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京蜂创科技有限公司申请的专利一种预聚合存储表创建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120371834B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510453061.1,技术领域涉及:G06F16/22;该发明授权一种预聚合存储表创建方法是由郭伟峰设计研发完成,并于2025-04-11向国家知识产权局提交的专利申请。
本一种预聚合存储表创建方法在说明书摘要公布了:本发明公开了一种预聚合存储表创建方法,涉及数据处理技术领域,包括S1、动态规则生成:首先通过大数据分析系统,对原始表内大量历史数据进行深度分析,全面掌握数据类型分类,并分析每日平均数据量以及数据时间窗口特性,S2、多级聚合窗口划分,S3、实时反馈优化,S4、分布式协同处理,S5、自适应压缩机制,S6、容错恢复机制,S7、数据质量监控,S8、元数据管理,S9、外部系统对接。通过动态规则生成实时反馈优化步骤和自适应压缩机制步骤,达到了数据处理的精准性、高效性与存储成本降低的效果,通过多级聚合窗口划分分布式协同处理步骤和容错恢复机制步骤,达到了增强系统处理复杂数据能力、提升系统可靠性与保障业务连续性的效果。
本发明授权一种预聚合存储表创建方法在权利要求书中公布了:1.一种预聚合存储表创建方法,其特征在于:包括以下创建步骤: S1、动态规则生成:首先通过大数据分析系统,对原始表内大量历史数据进行深度分析,全面掌握数据类型分类,并分析每日平均数据量以及数据时间窗口特性,然后通过学习算法训练模型系统,通过超参数调优,预测最佳预聚合规则,同时设定实时数据流特征变化的检测阈值,当数据模型变更10%时,或数据量波动超过20%时,重新进行数据分析、模型训练与规则生成; S2、多级聚合窗口划分:将S1步骤中动态规则生成的数据,通过数据处理经验系统和性能测试结果系统,将数据流划分为三级暂存窗口: 一级时间窗口:采用滑动窗口机制,初始窗口大小设定为15分钟,当数据到达频率波动超过30%时,根据频率变化公式动态调整窗口大小; 二级空间窗口:基于数据的地理分区进行划分,并支持跨区域数据聚合,在不同区域数据传输延迟不超过50毫秒的情况下,保证数据准确聚合; 三级逻辑窗口:通过语义分析工具,提取数据关联性,针对包含客户交易、产品信息多维度数据,构建至少3层的多维聚合层次; S3、实时反馈优化:将S2步骤中经过多级聚合窗口划分的三级暂存窗口,通过系统监控软件,结合Python脚本实现每10秒频率监控并采集预处理过程中的CPU、内存及IO资源占用率,当CPU使用率超过80%、内存占用率超过70%或IO读写延迟超过50毫秒时,基于监控数据利用Q~learning强化学习算法,设置状态空间为CPU使用率、内存占用率、IO读写延迟资源指标,动作空间为窗口大小调整和规则参数变更操作,并通过不断试错学习,找到最优策略,优化窗口划分与规则生成策略; S4、分布式协同处理:将S3步骤中监测并优化的数据,使用Paxos一致性协议在10个以上节点间同步预聚合规则,保证分布式环境下的数据聚合完整性,并采用区块链技术记录规则变更历史,每个区块包含规则变更时间、变更内容信息,确保分布式节点的规则一致性,同时通过边缘计算节点实现局部预聚合,每个边缘节点处理的数据量占总数据量的10%~20%; S5、自适应压缩机制:将S4步骤中分布式协同处理的数据,利用数据特征分析模块,在选择压缩算法前,对预聚合结果进行特征分析,包括数据正态分布和偏态分布、字符重复率和数据块重复率,当数据重复率超过30%时,选择LZ4压缩算法;当数据分布均匀时,选择Zstandard压缩算法; S6、容错恢复机制:将S5步骤中压缩后的数据,通过双备份冗余策略,冗余备份窗口的数据更新与主窗口保持实时同步,通过心跳检测机制,每5秒检测一次,备份策略根据数据重要性和更新频率的动态调整,在节点故障时,通过冗余备份窗口快速恢复未完成的聚合任务,恢复时间不超过10分钟; S7、数据质量监控:将S6步骤中冗余的数据,按照不同类型的数据,制定详细的数据质量规则库,通过实时对比进行异常检测,以每10分钟为周期对数据进行质量检查,对异常数据进行标记与记录; S8、元数据管理:将S7步骤中异常检测的数据,利用MySQL关系型数据库建立并维护预聚合存储表的元数据信息,包括数据结构、聚合规则、窗口划分细节,再设置索引以提高查询效率,确保在1秒内完成元数据查询; S9、外部系统对接:将S8步骤中关系型数据库建立并维护的数据,遵循RESTfulAPI设计规范,提供标准化接口,使预聚合存储表能够与各类外部系统实现无缝对接,同时接口响应时间不超过10秒。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京蜂创科技有限公司,其通讯地址为:100020 北京市朝阳区半壁店(齿轮总厂车桥分厂)36幢平房01(A-503);或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励