中邮消费金融有限公司赖继鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中邮消费金融有限公司申请的专利自适应数据抓取方法、设备、存储介质及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120892208B 。
龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511397202.9,技术领域涉及:G06F9/50;该发明授权自适应数据抓取方法、设备、存储介质及装置是由赖继鹏;肖继章;徐厚雨;杨明设计研发完成,并于2025-09-28向国家知识产权局提交的专利申请。
本自适应数据抓取方法、设备、存储介质及装置在说明书摘要公布了:本申请公开了一种自适应数据抓取方法、设备、存储介质及装置,涉及互联网技术领域,包括:基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息;对数据配置信息进行抓数前置校验,获得前置校验结果;基于前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池,启用目标等级线程池中的线程完成数据抓取,相较于传统数据抓取方法需要通过人工介入的方式进行系统更新和维护,影响数据抓取的准确性和成功率,本申请能够自动映射请求参数,可通知自定义映射规则表装配复杂参数和做参数前置校验,并筛选线程优先级完成数据抓取,提高了数据抓取的准确性和成功率。
本发明授权自适应数据抓取方法、设备、存储介质及装置在权利要求书中公布了:1.一种自适应数据抓取方法,其特征在于,所述自适应数据抓取方法包括: 基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息; 对所述数据配置信息进行抓数前置校验,获得前置校验结果; 基于所述前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池; 启用所述目标等级线程池中的线程完成数据抓取; 所述对所述数据配置信息进行抓数前置校验,获得前置校验结果的步骤,包括: 基于Aviator表达式求值引擎执行所述数据配置信息中请求头的break属性和cando属性的自定义逻辑表达式判断数据请求是否符合抓数条件,获得条件判断结果; 若所述条件判断结果为所述数据请求符合所述抓数条件,则对所述数据配置信息中每个请求参数进行抓数前置校验,获得前置校验结果; 所述基于所述前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池的步骤,包括: 若所述前置校验结果为校验成功,则基于预设滑动窗口算法实时统计当前最新时间窗口的各个接口的平均请求处理时间以及平均处理成功率; 根据所述平均请求处理时间以及所述平均处理成功率从预设等级线程池中匹配目标等级线程池; 所述若所述前置校验结果为校验成功,则基于预设滑动窗口算法实时统计当前最新时间窗口的各个接口的平均请求处理时间以及平均处理成功率的步骤之前,还包括: 若所述前置校验结果为校验成功,则基于预设定时任务对校验成功的请求参数进行标记,并将所述校验成功的请求参数记录至预设请求流水表,以作为格式样本数据; 若所述前置校验结果为校验失败,则基于预设监督式机器学习算法和所述格式样本数据对校验失败的请求参数进行参数格式修正,判断修正后的请求参数是否符合所述格式样本数据对应的参数格式; 若所述修正后的请求参数符合所述参数格式,则判定所述前置校验结果为校验成功,执行所述基于预设滑动窗口算法实时统计当前最新时间窗口的各个接口的平均请求处理时间以及平均处理成功率的步骤; 若所述修正后的请求参数不符合所述参数格式,则判定所述前置校验结果为校验失败,并结束前置校验流程。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中邮消费金融有限公司,其通讯地址为:510000 广东省广州市南沙区海滨路171号南沙金融大厦11楼1101之一J30;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励