买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京灵动新程信息科技有限公司申请的专利一种可视化爬虫方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116992110B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310377557.6，技术领域涉及：G06F16/951；该发明授权一种可视化爬虫方法、系统、设备及介质是由陈磊设计研发完成，并于2023-04-10向国家知识产权局提交的专利申请。

本一种可视化爬虫方法、系统、设备及介质在说明书摘要公布了：一种可视化爬虫方法、系统、设备及介质，涉及信息采集技术领域领域。在该方法中，包括以下步骤：初始化步骤：获取初始页面与至少一个主题关键词；页面获取步骤：从初始页面中获取第一页面，将第一页面添加至待爬取队列的第一级队列中；页面判别步骤：对第一页面进行模拟操作，判断第一页面在模拟操作前后的DOM结构是否发生改变；主题判别步骤：若是，根据主题关键词判断第二页面是否为主题相关页面；队列添加步骤：若是，将第二页面添加至待爬取队列的第二级队列中；循环执行页面获取步骤、页面判别步骤与主题判别步骤，确定待爬取队列，直至触发循环结束条件。通过采用本申请提供的技术方案，有效的提升了可视化爬虫的爬取能力。

本发明授权一种可视化爬虫方法、系统、设备及介质在权利要求书中公布了：1.一种可视化爬虫方法，其特征在于，所述方法包括以下步骤： 初始化步骤：获取初始化参数，所述初始化参数包括初始页面与至少一个主题关键词； 页面获取步骤：从所述初始页面中获取至少一个第一页面，并将全部所述第一页面添加至待爬取队列的第一级队列中； 页面判别步骤：对全部所述第一页面进行模拟操作，具体包括：对所述第一页面进行解析，获取所述第一页面的页面信息，所述第一页面的页面信息包括网页结构信息、网页事件信息以及网页内容信息；将所述第一页面的页面信息输入预置的模拟操作模型，输出模拟操作动作，所述模拟操作动作包括动作类型与动作目标；基于所述模拟操作动作对所述第一页面进行模拟操作；并判断所述第一页面在所述模拟操作前后的DOM结构是否发生改变； 主题判别步骤：若是，则说明所述第一页面经过所述模拟操作跳转至第二页面，根据所述主题关键词判断所述第二页面是否为主题相关页面，具体包括：通过Word2Vec，根据所述第二页面的页面信息提取所述第二页面的页面特征；将所述第二页面的页面特征输入预置的主题相关性分析模型，计算所述第二页面的主题相关度；判断所述第二页面的主题相关度是否大于设定阈值；若是，则所述第二页面为所述主题相关页面；若否，则说明所述第一页面经过所述模拟操作后，所述第一页面跳转至与所述第一页面同级的第三页面，将所述第三页面添加至所述待爬取队列的第一级队列中； 获取所述第二页面的页面信息；根据所述第二页面的页面信息与所述第二页面是否为主题相关页面的判断结果对所述模拟操作模型进行反馈训练，包括：当模拟操作模型生成的模拟操作动作使得第一页面在响应模拟操作动作进入第二页面并且第二页面具备主题相关性时，给予模拟操作模型强正反馈；当模拟操作模型生成的模拟操作动作使得第一页面在响应模拟操作动作进入第二页面但第二页面不具备主题相关性时，给予模拟操作模型正反馈；当模拟操作模型生成的模拟操作动作使得第一页面在响应模拟操作动作进入第三页面时，给予模拟操作模型负反馈； 队列添加步骤：若是，则将所述第二页面添加至所述待爬取队列的第二级队列中； 循环执行所述页面获取、所述页面判别步骤以及所述主题判别步骤，确定所述待爬取队列的第i级队列，直至触发循环结束条件，完成主题数据爬取。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京灵动新程信息科技有限公司，其通讯地址为：102600 北京市大兴区经济开发区广茂大街20号1号楼一层101室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。