一种矿山数据采集系统
摘要:
本发明公开了一种矿山数据采集系统,包括:数据存储库模块,数据存储库模块包括:流文件库和内容库和来源库,数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息;采集流模块,采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理;输出模块,输出模块通过对外接口实现统一的数据发送。本发明支持大规模数据采集充分考虑数据量大规模的增长,对数据量大的采集场景,支持通过配置任务多线程和多节点集群运行方式,实现采集任务的负载均衡,避免采集流程出现单任务瓶颈或者单节点瓶颈,满足业务稳定性和可靠性要求。
0/0