一种web数据采集方法和系统
Abstract:
本发明提供了一种web数据采集方法和系统。所述系统包括数据提供装置以及数据采集装置,其中数据提供装置用于收集web数据;数据采集装置包括:负载检测模块,用于检测数据提供装置的负载情况,并判断负载是否超过阈值,是则等待一定时间再重新检测数据提供装置的负载情况;否则通知数据采集模块对数据提供装置的web数据进行采集;数据采集模块,用于对存储在数据提供装置中的web数据进行采集,并将采集到的web数据存入数据库中;数据分析处理模块,用于对数据库中存储的web数据进行处理。根据本发明的实施例公开的web数据采集方法和系统,能够实现以简单的结构来准确高效地进行web数据采集,同时,避免网页前端压力过大的情况。
Public/Granted literature
Patent Agency Ranking
0/0