公开(公告)号：CN111859075A

公开(公告)日：2020-10-30

申请号：CN202010747535.0

申请日：2020-07-30

Applicant: 吉林大学

Inventor： 康辉 ,  孙鑫 ,  赵旭 ,  李佳辉 ,  卢凌锋

IPC: G06F16/951 ,  G06F16/958

Abstract: 本发明属于网络爬虫技术领域，涉及一种基于异步处理框架的具有自动测试功能的数据爬取方法。本发明基于网络爬虫领域较成熟的网络爬虫框架，在面对网站设计之初加入各种反爬虫策略的网站爬取任务，尤其是通过脚本动态生成网站数据的任务，需要在蜘蛛的项目文件发出初始请求链接经过引擎和队列到达下载中间件时，引入自动测试技术，达到获取动态网页源代码的目的。该方法获取的网页响应结果是经过脚本渲染之后的，并且可以通过自动测试技术自定义控制浏览器完成一系列链操作的目的，进而节省了开发人员对目标网站的架构分析过程，降低了项目开发难度，更多时间可以被投入到网页解析上面，也提高了所爬取数据的质量，缩短了项目开发周期。

公开(公告)号：CN112612943A

公开(公告)日：2021-04-06

申请号：CN202110059894.1

申请日：2021-01-18

Applicant: 吉林大学

Inventor： 康辉 ,  孙鑫 ,  赵旭 ,  李佳辉 ,  卢凌锋

IPC: G06F16/951 ,  G06F16/958

Abstract: 本发明属于网络爬虫技术领域，涉及一种基于异步处理框架的具有自动测试功能的数据爬取方法。本发明基于网络爬虫领域较成熟的网络爬虫框架，在面对网站设计之初加入各种反爬虫策略的网站爬取任务，尤其是通过脚本动态生成网站数据的任务，需要在蜘蛛的项目文件发出初始请求链接经过引擎和队列到达下载中间件时，引入自动测试技术，达到获取动态网页源代码的目的。该方法获取的网页响应结果是经过脚本渲染之后的，并且可以通过自动测试技术自定义控制浏览器完成一系列链操作的目的，进而节省了开发人员对目标网站的架构分析过程，降低了项目开发难度，更多时间可以被投入到网页解析上面，也提高了所爬取数据的质量，缩短了项目开发周期。