Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
专利交易 商标交易 积分商城 国际服务 IP管家助手 科技果 科技人才 会员权益 需求市场 关于龙图腾 更多
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 河海大学邓梦华获国家专利权

河海大学邓梦华获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉河海大学申请的专利分布式大数据实时处理与分析系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121433911B

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202512005573.4,技术领域涉及:G06F9/50;该发明授权分布式大数据实时处理与分析系统是由邓梦华;朱祺杰;陶飞飞设计研发完成,并于2025-12-29向国家知识产权局提交的专利申请。

分布式大数据实时处理与分析系统在说明书摘要公布了:本发明公开了分布式大数据实时处理与分析系统,属于大数据实时处理技术领域,包括多维数据流采集模块、弹性资源调度模块、增量状态管理模块、智能容错协调模块和实时分析输出模块,通过自适应权重调整策略实现计算资源的精细化动态调度,资源利用率提升40%以上。通过细粒度增量状态管理技术,仅对变化数据进行重新计算,处理延迟降低60%,吞吐量提升150%,通过智能容错协调机制,故障恢复时间控制在200ms以内,可用性达到99.99%。解决了现有技术中资源调度不灵活、数据处理效率低和容错能力弱的问题,实现了对海量实时数据流的高效、低延迟、高可靠处理,适用于金融风控、电信监控、物联网分析等应用场景。

本发明授权分布式大数据实时处理与分析系统在权利要求书中公布了:1.分布式大数据实时处理与分析系统,其特征在于,包括: 多维数据流采集模块,用于从多个数据源采集实时数据流,对采集的数据流进行特征提取和分类标注,根据数据的时间戳、数据类型和优先级生成数据流特征向量,将所述数据流特征向量输出至弹性资源调度模块; 弹性资源调度模块,与所述多维数据流采集模块连接,基于所述数据流特征向量,分析当前系统的资源使用状态和任务队列长度,结合历史资源分配记录,采用自适应权重调整策略计算各计算节点的资源分配权重,根据所述资源分配权重动态调整计算节点的内存容量和处理线程数,生成弹性资源配置方案,将所述弹性资源配置方案输出至增量状态管理模块; 其中,所述弹性资源配置方案的生成过程具体为:基于所述数据流特征向量,提取数据流的到达速率、数据包大小和处理复杂度参数,统计当前时间窗口内各计算节点的CPU利用率、内存占用率和网络带宽使用率;根据所述CPU利用率、内存占用率和网络带宽使用率,计算各计算节点的综合负载指数,将所述综合负载指数与预设的负载阈值进行比较,识别高负载节点和低负载节点;基于所述高负载节点和低负载节点的识别结果,结合历史资源分配记录中的资源使用模式,采用自适应权重调整策略计算各计算节点的资源分配权重;根据所述资源分配权重和当前任务队列长度,确定需要增加或减少的计算资源量,生成资源调整指令,根据所述资源调整指令动态调整计算节点的内存容量和处理线程数,生成弹性资源配置方案; 其中,所述资源分配权重的计算过程具体为:提取各计算节点在历史时间段内的资源使用数据,包括平均CPU利用率、平均内存占用率和平均网络带宽使用率,统计各计算节点完成任务的平均响应时间和任务失败率;根据所述平均响应时间和任务失败率,计算各计算节点的性能评分,将所述性能评分与所述综合负载指数进行加权组合,生成节点综合评估值;基于所述节点综合评估值,采用归一化处理方法将各计算节点的评估值映射到统一的权重范围,根据数据流的优先级和任务类型,对归一化后的节点综合评估值进行动态调整,按照如下自适应权重调整算法公式计算生成各计算节点的资源分配权重: 其中,为第个计算节点的资源分配权重,为第个节点处理的数据流优先级归一化值,为第个节点的当前综合负载指数归一化值,为第个节点的历史性能评分归一化值,为优先级权重因子,为负载平衡因子,为历史性能因子,为系统中计算节点的总数; 增量状态管理模块,与所述弹性资源调度模块连接,基于所述弹性资源配置方案,对实时数据流进行增量计算,通过状态快照机制记录计算过程中的中间状态,当检测到状态变化时,仅对变化的数据分片进行重新计算,根据数据依赖关系构建增量计算图,采用最小化计算代价策略确定增量计算路径,生成增量计算结果集,将所述增量计算结果集输出至智能容错协调模块; 其中,所述状态快照机制的实现过程具体为:在增量计算过程中,定期或在关键计算节点完成时触发状态快照操作,将当前的计算状态序列化为状态快照数据;对所述状态快照数据进行压缩处理,采用增量快照策略,仅保存与上一次快照相比发生变化的状态快照数据,生成压缩的增量快照;将所述压缩的增量快照存储至分布式存储系统,为每个快照分配唯一的版本号和时间戳,建立快照索引便于快速检索;当需要恢复任务状态时,根据任务标识和时间戳从快照索引中查找最新的状态快照,从分布式存储系统中加载所述状态快照,对快照数据进行解压缩和反序列化,恢复任务的执行状态; 智能容错协调模块,与所述增量状态管理模块连接,基于所述增量计算结果集,监测各计算节点的健康状态和任务执行进度,通过心跳检测机制识别故障节点,当检测到节点故障时,从状态快照中恢复故障任务的执行状态,将故障任务重新分配至健康节点,根据任务优先级和资源可用性调整任务调度顺序,生成容错恢复策略,将所述容错恢复策略输出至实时分析输出模块; 其中,所述心跳检测机制的实现过程具体为:各计算节点定期向协调节点发送心跳消息,所述心跳消息包含节点标识、时间戳、当前负载状态和正在执行的任务信息;协调节点接收并记录各计算节点的心跳消息,计算各计算节点的心跳响应时间,将所述心跳响应时间与预设的超时阈值进行比较;当某计算节点的心跳响应时间超过所述超时阈值,或在连续3个检测周期内未收到心跳消息时,将该计算节点标记为疑似故障节点;对所述疑似故障节点发送探测请求进行二次确认,若仍无响应则确认为故障节点,触发容错恢复流程,从任务分配表中获取所述故障节点的任务信息,启动任务迁移和状态恢复操作; 其中,所述智能容错协调模块还采用故障预测算法,通过分析节点的历史运行数据预测潜在的故障风险,实现主动式容错,所述故障预测算法的公式为: 其中,为第个节点在时间的故障概率预测值,为Sigmoid激活函数,用于将预测值映射到0-1范围,为特征维度数,为第个特征在时间的观测值,为第个特征对应的权重参数,当超过预设的故障风险阈值时,提前触发任务迁移,将该节点的部分任务主动转移至其他健康节点; 实时分析输出模块,与所述智能容错协调模块连接,基于所述容错恢复策略和所述增量计算结果集,对计算结果进行聚合和汇总,根据用户定义的查询条件筛选目标数据,将筛选后的分析结果按照指定格式输出至外部系统或存储至分布式存储系统。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人河海大学,其通讯地址为:210000 江苏省南京市江宁区秣陵街道佛城西路8号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。