数据采集系统和数据采集方法
Abstract:
本发明提供了一种基于Zookeeper集群的数据采集系统,包括:消息队列建立单元,用于根据不同的数据源建立不同的消息队列;Zookeeper集群,用于监控多个采集器的状态,并使所述消息队列中的任一消息数据仅被多台所述采集器中的一个采集器采集,其中每个所述消息队列对应于所述Zookeeper集群的一个持久化节点;每个所述采集器,在所述Zookeeper集群的协调下获取消息数据,所述采集器对应于所述持久化节点下的临时节点。相应地,本发明还提出了一种基于Zookeeper集群的数据采集方法。通过本发明的技术方案,可以按照不同的数据源制定不同的采集模块,可以针对不同的存储需求制定不同的存储策略,实现了数据采集和存储的多样性。
Public/Granted literature
Patent Agency Ranking
0/0