杭州电子科技大学黄雨婷获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于实时流处理的边缘网关设备日志解析方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116582423B 。
龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310599727.5,技术领域涉及:H04L41/069;该发明授权一种基于实时流处理的边缘网关设备日志解析方法是由黄雨婷;余佳妮;蒋从锋;闫龙川设计研发完成,并于2023-05-23向国家知识产权局提交的专利申请。
本一种基于实时流处理的边缘网关设备日志解析方法在说明书摘要公布了:本发明公开了一种基于实时流处理的边缘网关设备日志解析方法。首先提出了基于日志产生速率的采样间隔自适应调整算法预测日志产生速率,以不同采样间隔实时收集日志,通过MQTT通讯协议将日志数据从边缘网关实时传输到分布式缓存队列。其次由日志解析程序监听缓存队列,实时读取日志并行处理。日志解析主要包括日志预处理和参数匹配,对解析得到的模板,剔除重复的模板,基于信息熵的后处理方式选择算法决定删除模板、保留模板还是重解析模板。最后使用相似度度量的方法融合模板,得到最终的解析结果。本发明从实时采集日志、实时传输日志、实时处理日志三个方面实现日志流的实时解析,并对日志模板进行两次调整,能够保证模板的质量和准确性。
本发明授权一种基于实时流处理的边缘网关设备日志解析方法在权利要求书中公布了:1.一种基于实时流处理的边缘网关设备日志解析方法,其特征在于该方法包括如下步骤: 步骤1.利用日志收集程序,以不同的采样间隔实时收集日志,并进行数据清洗; 步骤2.在边缘网关和分布式缓存队列中配置MQTT客户端; 将采集到的日志通过MQTT协议由边缘网关实时传输至分布式缓存队列中,缓存队列中设置滚动窗口; 步骤3.分布式服务器中的日志解析程序监听缓存队列,并加载预先设置的模板集和规则库到内存,监听到有数据时并行读取数据进行解析; 步骤4.基于增量式长短期记忆网络算法预测所需服务器数量; 步骤5.定期对步骤3中解析得到的模板进行后处理,包括对模板去重、过滤信息缺失较多的模板、重解析不准确的模板; 步骤6.使用相似度度量的方法对步骤5中得到的模板进行融合,融合后的结果为最终的日志模板集; 步骤1所述的以不同的采样间隔实时收集日志,具体是: 首先对历史时间序列数据进行平滑处理; 其次使用处理后的数据训练长短期记忆网络模型以预测未来一段时间的日志产生速率; 最后日志收集程序根据预测结果以不同的采样间隔收集日志;使得日志高峰期采样间隔短,每次收集间隔时间段内的日志,数据量大;非高峰期采样间隔相对较长,每次只收集采样时刻的日志,数据量小; 步骤4具体是: 4-1:收集一批历史数据,由分布式服务器处理能力、服务器资源使用情况、服务器运行状况、服务器数量、日志到达速率以及各缓存队列中日志的等待时间组成,作为训练模型使用的基础数据; 4-2:对收集到的数据进行预处理,去除异常值、填充缺失值、归一化; 4-3:使用增量式LSTM算法对预处理后的数据训练模型,使用训练得到的模型预测未来一段时间内服务器数量; 4-4:根据预测结果增减服务器数量,满足解析任务所需的计算资源; 4-5:使用下一时间段的数据,再次训练模型并更新参数,以预测下一时间段所需的服务器数量; 4-6:使用新的数据,重复步骤4-2到4-6。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市江干区下沙高教园区2号大街;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励