发明公开
- 专利标题: 一种电力信息系统海量日志数据实时处理系统
-
申请号: CN202010029975.2申请日: 2020-01-13
-
公开(公告)号: CN111209314A公开(公告)日: 2020-05-29
- 发明人: 何东 , 饶涵宇 , 张辰 , 董媛媛 , 吴小华 , 徐海青 , 徐唯耀 , 陈是同 , 张彬彬 , 胡心颖 , 郭庆 , 吴立刚 , 浦正国 , 胡丁丁
- 申请人: 国网浙江省电力有限公司信息通信分公司 , 安徽继远软件有限公司 , 国网信息通信产业集团有限公司 , 国家电网有限公司
- 申请人地址: 浙江省杭州市西湖区黄龙路8号
- 专利权人: 国网浙江省电力有限公司信息通信分公司,安徽继远软件有限公司,国网信息通信产业集团有限公司,国家电网有限公司
- 当前专利权人: 国网浙江省电力有限公司信息通信分公司,安徽继远软件有限公司,国网信息通信产业集团有限公司,国家电网有限公司
- 当前专利权人地址: 浙江省杭州市西湖区黄龙路8号
- 代理机构: 合肥维可专利代理事务所
- 代理商 吴明华
- 主分类号: G06F16/2458
- IPC分类号: G06F16/2458 ; G06F16/23 ; G06F16/27 ; G06F9/54
摘要:
本发明公开了一种电力信息系统海量日志数据实时处理系统,包括:接收数据模块;融合存储模块;数据加载模块,用于数据存储和数据查询过程的实时加载;实时分析处理模块,采用Storm框架技术实时计算海量数据;数据快速查询检索模块,包括查询请求获取模块,关联规则建立模块和查询结果显示模块,所述查询请求获取模块用于获取用户输入的查询关键字;所述关联规则建立模块基于Storm框架技术并行处理数据,建立数据之间的关联;所述查询结果显示模块将查询结果输出到用户端。采用Storm框架技术、HBase数据库和基于Storm框架技术的关联规则获取方法,实现海量日志数据的低延时的实时存储和查询结果获取。