Invention Grant
- Patent Title: 数据采集系统和数据采集方法
-
Application No.: CN201410319209.4Application Date: 2014-07-04
-
Publication No.: CN104065741BPublication Date: 2018-06-19
- Inventor: 费英林
- Applicant: 用友网络科技股份有限公司
- Applicant Address: 北京市海淀区北清路68号
- Assignee: 用友网络科技股份有限公司
- Current Assignee: 用友网络科技股份有限公司
- Current Assignee Address: 北京市海淀区北清路68号
- Agency: 北京友联知识产权代理事务所
- Agent 尚志峰; 汪海屏
- Main IPC: H04L29/08
- IPC: H04L29/08 ; G06F17/30 ; G06F9/46
Abstract:
本发明提供了一种基于Zookeeper集群的数据采集系统,包括:消息队列建立单元,用于根据不同的数据源建立不同的消息队列;Zookeeper集群,用于监控多个采集器的状态,并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集,其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点;每个所述采集器,在所述Zookeeper集群的协调下获取消息数据,所述采集器对应于所述持久化节点下的临时节点。相应地,本发明还提出了一种基于Zookeeper集群的数据采集方法。通过本发明的技术方案,可以按照不同的数据源制定不同的采集模块,可以针对不同的存储需求制定不同的存储策略,实现了数据采集和存储的多样性。
Public/Granted literature
- CN104065741A 数据采集系统和数据采集方法 Public/Granted day:2014-09-24
Information query