开元云(北京)科技有限公司周思华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉开元云(北京)科技有限公司申请的专利一种高性能计算数据处理系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118568112B 。
龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410739297.7,技术领域涉及:G06F16/23;该发明授权一种高性能计算数据处理系统是由周思华;余模清;张皓程;张保彪;李炳乐;张佳栋设计研发完成,并于2024-06-07向国家知识产权局提交的专利申请。
本一种高性能计算数据处理系统在说明书摘要公布了:本发明涉及数据处理技术领域,尤其涉及一种高性能计算数据处理系统。该系统包括采集模块、过滤模块以及存储模块。本发明通过实时监测输入日志数据,首先删除运行时间为0的数据以及含有缺失值的数据,可以减少对后续数据处理流程的影响,提高数据质量和处理效率,通过对新增数据与存量数据的关系,选择不同的存储方法,在新增数据对存量数据没有影响,系统直接将新增数据追加存储,提高计算处理速度,增加实时性和处理效率,通过将新增数据与历史数据对比,确定关联数据,并采用预处理方法,将相关数据组织成复杂对象进行存储,以保留数据历史信息,提高数据处理效率和性能,保证数据的质量和一致性,以优化系统的整体性能和稳定性。
本发明授权一种高性能计算数据处理系统在权利要求书中公布了:1.一种高性能计算数据处理系统,其特征在于,包括, 采集模块,用以采集输入的若干订单交易日志集; 过滤模块,用于分别对各订单交易日志集进行删除,分别得到待存储数据; 其中,对于任一所述订单交易日志集,对运行时间为0的数据进行删除,对特征数据段有缺失值的数据进行删除,得到待存储数据; 存储模块,其内存有若干历史数据段、各所述历史数据段对应的历史更新数据和存储节点,其用以对所述待存储数据集进行分割,得到待存储数据段,分别将各所述待存储数据段分片存储到对应的各存储节点上,所述存储模块包括,分析单元,对任一所述待存储数据段进行分析,若所述待存储数据段为新增数据,分析是否对存量数据有影响; 所述存储模块包括追加单元,在所述分析单元判定所述新增数据对存量数据的内存量无影响时,所述追加单元对所述待存储数据段直接进行追加存储; 处理单元,其用以对关联数据进行新增修改和删除修改; 其中,在所述分析单元判定所述待存储数据段对关联数据有影响时,所述处理单元对所述关联数据进行新增修改,所述分析单元判定所述待存储数据段对关联数据没有影响时,所述处理单元对关联数据进行删除修改; 所述分析单元对任一所述待存储数据段进行分析,获取与所述待存储数据段的实时流动路径一致的历史数据段和对应的存储节点,将所述待存储数据段与对应的所述历史数据段进行匹配,若所述待存储数据段与所述历史数据段不存在匹配数据,则判定所述待存储数据段为新增数据,所述分析单元根据实时占用内存量确定所述新增数据对存量数据的内存量是否有影响; 若所述待存储数据段与所述历史数据段存在匹配数据,则获取匹配数据记作关联数据,所述分析单元根据所述关联数据确定所述待存储数据段对存量数据的内容是否有影响; 所述分析单元在判定所述待存储数据段是新增数据,或所述待存储数据段对关联数据的内容有影响时,获取所述待存储数据段的实时占用内存量,将标准占用内存量与实时占用内存量进行对比,若实时占用内存量小于等于标准占用内存量,所述分析单元判定所述新增数据对存量数据的内存量无影响,或所述待存储数据段对关联数据的内存量无影响; 若实时占用内存量大于标准占用内存量,所述分析单元判定所述新增数据对存量数据的内存量有影响,或所述待存储数据段对关联数据的内存量有影响; 所述分析单元在判定所述待存储数据段与所述历史数据段存在匹配数据时,获取匹配数据作为关联数据,根据关联数据确定所述待存储数据段对存量数据的内容是否有影响,计算所述关联数据与所述待存储数据段的实时相似度,将标准相似度与实时相似度进行对比,若实时相似度小于标准相似度,所述分析单元判定所述待存储数据段对关联数据的内容有影响; 若实时相似度大于等于标准相似度,所述分析单元判定所述待存储数据段对关联数据没有影响,说明重复,所述处理单元对关联数据进行删除修改; 在所述分析单元判定所述待存储数据段对关联数据有影响时,所述处理单元对所述关联数据进行新增修改,包括,将所述关联数据对应的历史结束版本号修改为当前版本号; 将所述待存储数据段作为增加修改字段储存在对应的存储节点上,所述增加修改字段的结束版本号和开始版本号均为当前版本号。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人开元云(北京)科技有限公司,其通讯地址为:101299 北京市平谷区兴谷经济开发区6区305-21926(集群注册);或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励