发明公开
CN115237989A 一种矿山数据采集系统
审中-实审
- 专利标题: 一种矿山数据采集系统
-
申请号: CN202210934838.2申请日: 2022-08-04
-
公开(公告)号: CN115237989A公开(公告)日: 2022-10-25
- 发明人: 刘晓明 , 苑兴伟 , 梁国海 , 王美蠲 , 冯宇晴 , 齐飞祥 , 李文 , 吕长昊
- 申请人: 辽宁排山楼黄金矿业有限责任公司
- 申请人地址: 辽宁省阜新市阜蒙县新民镇上排山楼村
- 专利权人: 辽宁排山楼黄金矿业有限责任公司
- 当前专利权人: 辽宁排山楼黄金矿业有限责任公司
- 当前专利权人地址: 辽宁省阜新市阜蒙县新民镇上排山楼村
- 代理机构: 长沙启昊知识产权代理事务所
- 代理商 谢珍贵
- 主分类号: G06F16/25
- IPC分类号: G06F16/25 ; G06F16/2455 ; G06F16/907 ; G06F16/957 ; G06Q50/02
摘要:
本发明公开了一种矿山数据采集系统,包括:数据存储库模块,数据存储库模块包括:流文件库和内容库和来源库,数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息;采集流模块,采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理;输出模块,输出模块通过对外接口实现统一的数据发送。本发明支持大规模数据采集充分考虑数据量大规模的增长,对数据量大的采集场景,支持通过配置任务多线程和多节点集群运行方式,实现采集任务的负载均衡,避免采集流程出现单任务瓶颈或者单节点瓶颈,满足业务稳定性和可靠性要求。