发明公开
- 专利标题: 一种基于实时流计算的停电数据分析处理方法及装置
-
申请号: CN202211675484.0申请日: 2022-12-26
-
公开(公告)号: CN115952236A公开(公告)日: 2023-04-11
- 发明人: 李玮 , 王笑一 , 喻玮 , 郭佳迪 , 朱龙珠 , 李子乾 , 孙晓倩 , 徐梦舟 , 幺士洁 , 王政辉
- 申请人: 国家电网有限公司客户服务中心
- 申请人地址: 天津市东丽区东丽湖丽湖环路21号
- 专利权人: 国家电网有限公司客户服务中心
- 当前专利权人: 国家电网有限公司客户服务中心
- 当前专利权人地址: 天津市东丽区东丽湖丽湖环路21号
- 代理机构: 北京星通盈泰知识产权代理有限公司
- 代理商 黄正奇
- 主分类号: G06F16/27
- IPC分类号: G06F16/27 ; G06F16/28 ; G06F16/182 ; G06F16/25 ; G06N20/00 ; G06Q50/06
摘要:
本发明提供了一种基于实时流计算的停电数据分析处理方法及装置,涉及电网数据处理领域,该方法包括:采用sqoop分布式抽取从实时数据库中采集实时数据,传输至分布式文件系统中;采用Spark Streming计算引擎和Mapreduce计算引擎对分布式文件系统中的数据进行处理,生成停电结果数据;对所述停电结果数据进行应用。解决了实时数据的同步需求和实时数据计算数据交互问题,实现了TB级别数据量的实时数据的同步与计算,万级计算任务在30分钟内完成,同时,基于对实时数据的计算与分析,提高了停电监测分析及预警能力,提升了停电事件的精准的服务能力。