Invention Grant
- Patent Title: 一种web数据采集方法和系统
-
Application No.: CN201410155549.8Application Date: 2014-04-17
-
Publication No.: CN103929339BPublication Date: 2018-11-09
- Inventor: 赵建华 , 谢刚
- Applicant: 五八同城信息技术有限公司
- Applicant Address: 天津市滨海新区第一大街79号泰达MSD-C区-C3座
- Assignee: 五八同城信息技术有限公司
- Current Assignee: 五八同城信息技术有限公司
- Current Assignee Address: 天津市滨海新区第一大街79号泰达MSD-C区-C3座
- Agency: 北京律恒立业知识产权代理事务所
- Agent 顾珊; 庞立岩
- Main IPC: H04L12/26
- IPC: H04L12/26 ; H04L12/24
Abstract:
本发明提供了一种web数据采集方法和系统。所述系统包括数据提供装置以及数据采集装置,其中数据提供装置用于收集web数据;数据采集装置包括:负载检测模块,用于检测数据提供装置的负载情况,并判断负载是否超过阈值,是则等待一定时间再重新检测数据提供装置的负载情况;否则通知数据采集模块对数据提供装置的web数据进行采集;数据采集模块,用于对存储在数据提供装置中的web数据进行采集,并将采集到的web数据存入数据库中;数据分析处理模块,用于对数据库中存储的web数据进行处理。根据本发明的实施例公开的web数据采集方法和系统,能够实现以简单的结构来准确高效地进行web数据采集,同时,避免网页前端压力过大的情况。
Public/Granted literature
- CN103929339A 一种web数据采集方法和系统 Public/Granted day:2014-07-16
Information query