发明公开
CN112035725A 数据采集系统和方法
审中-实审
- 专利标题: 数据采集系统和方法
-
申请号: CN202010914439.0申请日: 2020-09-03
-
公开(公告)号: CN112035725A公开(公告)日: 2020-12-04
- 发明人: 张学颖 , 曹六一 , 杨飞
- 申请人: 北大方正集团有限公司 , 北京北大方正电子有限公司
- 申请人地址: 北京市海淀区成府路298号中关村方正大厦9层
- 专利权人: 北大方正集团有限公司,北京北大方正电子有限公司
- 当前专利权人: 北大方正集团有限公司,北京北大方正电子有限公司
- 当前专利权人地址: 北京市海淀区成府路298号中关村方正大厦9层
- 代理机构: 北京同立钧成知识产权代理有限公司
- 代理商 张娜; 刘芳
- 主分类号: G06F16/951
- IPC分类号: G06F16/951 ; G06F16/955
摘要:
本发明实施例提供一种数据采集系统和方法,该系统包括:爬虫管理模块,采集集群模块和数据落地模块;所述爬虫管理模块中部署有多个爬虫线程,不同爬虫线程对应的数据采集方式不同;所述爬虫管理模块用于:基于调度机制,控制相应爬虫线程通过所述采集集群模块在网页中采集数据,并基于滤重机制对采集到的数据进行处理,得到有效数据;所述数据落地模块用于获取所述有效数据,并将所述有效数据按照预先确定的落地路径写入相应的内存中。该数据采集系统通过统一管理爬虫线程以及数据滤重,大大减少了开发人员的工作量,提高了数据采集效率和精度。