同济大学方钰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉同济大学申请的专利一种面向时空大数据流处理引擎的动态资源调度方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115510100B 。
龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211073019.X,技术领域涉及:G06F16/2455;该发明授权一种面向时空大数据流处理引擎的动态资源调度方法是由方钰;翟鹏珺;陈欣如设计研发完成,并于2022-09-02向国家知识产权局提交的专利申请。
本一种面向时空大数据流处理引擎的动态资源调度方法在说明书摘要公布了:一种面向时空大数据流处理引擎的动态资源调度方法在本发明中被提出。当前的流处理引擎通常借助集群或高性能的硬件来提升处理数据的效率,仅仅支持处理实时的流数据,不能同时处理无界的实时数据和有界的存储数据,且随机分配处理任务的方式不能依据上层需求针对性的提升数据处理速率。本发明面向时空大数据,改进了数据划分算法,将流数据划分为有界和无界两种数据类型,并分别从全局和局部资源范围对数据处理任务设计了动态资源调度策略,使得算法在保证无界任务处理实时性的同时,扩大了处理有界任务的总量,由此使得流处理引擎具备同时处理无界、有界数据的能力,且在集群环境下实现资源高效分配,以提高流处理引擎的吞吐量,并降低处理时延。
本发明授权一种面向时空大数据流处理引擎的动态资源调度方法在权利要求书中公布了:1.一种面向时空大数据流处理引擎的动态资源调度方法,其特征在于: 步骤1、数据采集系统获取数据;同时,改进水位算法; 步骤2、流处理引擎接入数据,利用步骤1得到的新水位算法对接入数据进行划分; 步骤3、针对步骤2划分的数据类型,构建相应的处理任务,得到有界和无界任务处理总量; 步骤4、结合步骤3得到的有界和无界任务处理总量,分别从全局和局部资源范围进行资源动态调度; 所述步骤1具体为: 1.1设置窗口机制 定义事件发生时间为该条数据实际发生的时间,即由事件所在的数据采集系统记录下来的时间;事件处理时间为在实际流处理引擎中处理或计算该条数据的时间; 假设每个窗口均有开始时间与结束时间,同时某一条到达数据的事件发生时间是,此时数据采集系统会校验并找到对应的窗口,并从该窗口所有的已到达数据中找到; 1.2引入水位线延时阈值对水位算法进行改进 设置水位延时,和水位延时阈值两个参数,并基于步骤1.1的窗口机制设置水位算法,水位算法的判别准则如下所示: 所述步骤2具体为: 结合步骤1.2得到的改进水位算法,对流处理引擎接入的数据进行有界和无界两种数据类型的划分,即当事件时间小于最大事件时间与水位延时的差,且水位延时低于水位延时阈值时,将这个窗口内该事件时间对应的数据划分为无界数据;当事件时间小于最大事件时间与水位延时的差,且水位延时不低于水位延时阈值时,将这个窗口内该事件时间对应的数据划分为有界数据;反之,事件时间不小于最大事件时间与水位延时的差,且水位延时低于水位延时阈值时,将这个窗口内该事件时间对应的数据划分为无界数据;事件时间不小于最大事件时间与水位延时的差,且水位延时不低于水位延时阈值时,将这个窗口内该事件时间对应的数据划分为有界数据;将数据划分结果输入给步骤3.2和3.3; 水位延时对应的数据为有界数据,而水位延时对应的数据为无界数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励