数据采集系统和方法
摘要:
本发明实施例提供一种数据采集系统和方法,该系统包括:爬虫管理模块,采集集群模块和数据落地模块;所述爬虫管理模块中部署有多个爬虫线程,不同爬虫线程对应的数据采集方式不同;所述爬虫管理模块用于:基于调度机制,控制相应爬虫线程通过所述采集集群模块在网页中采集数据,并基于滤重机制对采集到的数据进行处理,得到有效数据;所述数据落地模块用于获取所述有效数据,并将所述有效数据按照预先确定的落地路径写入相应的内存中。该数据采集系统通过统一管理爬虫线程以及数据滤重,大大减少了开发人员的工作量,提高了数据采集效率和精度。
0/0