一种电力信息系统海量日志数据实时处理系统
摘要:
本发明公开了一种电力信息系统海量日志数据实时处理系统,包括:接收数据模块;融合存储模块;数据加载模块,用于数据存储和数据查询过程的实时加载;实时分析处理模块,采用Storm框架技术实时计算海量数据;数据快速查询检索模块,包括查询请求获取模块,关联规则建立模块和查询结果显示模块,所述查询请求获取模块用于获取用户输入的查询关键字;所述关联规则建立模块基于Storm框架技术并行处理数据,建立数据之间的关联;所述查询结果显示模块将查询结果输出到用户端。采用Storm框架技术、HBase数据库和基于Storm框架技术的关联规则获取方法,实现海量日志数据的低延时的实时存储和查询结果获取。
0/0