买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门市美亚柏科信息股份有限公司申请的专利网页爬取方法、装置、计算设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114610975B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210420459.1，技术领域涉及：G06F16/951；该发明授权网页爬取方法、装置、计算设备及存储介质是由卓泽键;陈子沣;林淑强;周成祖设计研发完成，并于2022-04-20向国家知识产权局提交的专利申请。

本网页爬取方法、装置、计算设备及存储介质在说明书摘要公布了：本公开公开一种网页爬取方法、装置、计算设备及存储介质，该方法包括：创建爬取队列，从消息队列中获取网页地址并将所述网页地址放入所述爬取队列中；启动爬虫进程，并通过所述爬虫进程启动浏览器对象，所述爬虫进程由至少一个线程执行；控制所述线程所对应的协程从所述爬取队列中获取所述网页地址，以使用所述网页地址发起访问请求，且在所述协程所发起的访问请求等待响应时挂起所述协程，所述线程切换执行未挂起的协程以发起新的访问请求或处理请求返回的响应。根据本公开实施例可以有效提高处理器和带宽利用率，降低系统资源消耗。

本发明授权网页爬取方法、装置、计算设备及存储介质在权利要求书中公布了：1.一种网页爬取方法，包括： 创建本地爬取队列，用于暂存网页地址；通过Kafka配置消息队列，从所述消息队列中获取网页地址并将所述网页地址放入所述爬取队列中； 启动爬虫进程，所述爬虫进程由至少一个线程执行，并通过所述爬虫进程无头模式启动浏览器对象，具体包括：所述爬虫进程控制所述浏览器对象启动多个页面对象，设置所述页面对象的尺寸，并对所述浏览器对象进行身份标识伪装，其中，所述页面对象由所述线程所对应的协程调配，所述身份标识伪装表征发起访问请求的设备的类型； 控制所述线程所对应的协程从所述爬取队列中获取所述网页地址，以使用所述网页地址通过页面对象对目标页面发起访问请求，对所述目标页面的响应进行超时检测，在所述目标页面的响应等待时长达到预设等待时长阈值时，所述协程中断所发起的所述访问请求，并挂起所述协程，所述线程切换执行未挂起的协程以发起新的访问请求或处理请求返回的响应； 对超时异常进行检测，并根据检测到的超时异常的类型进行相应处理；所述根据检测到的超时异常的类型进行相应处理，包括：在所述超时异常属于连接超时或域名临时解析异常时，重新发起所述访问请求，并根据所述访问请求的重试次数延长所述目标页面的响应等待时长；在所述超时异常属于连接拒绝异常时，使用代理IP重新发起所述访问请求；在所述超时异常属于域名无法解析或连接重置异常时，控制所述协程从所述爬取队列中获取新的所述网页地址，以发起新的访问请求。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门市美亚柏科信息股份有限公司，其通讯地址为：361000 福建省厦门市思明区软件园二期观日路12号102-402单元；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。