一种基于实时流计算的停电数据分析处理方法及装置
摘要:
本发明提供了一种基于实时流计算的停电数据分析处理方法及装置,涉及电网数据处理领域,该方法包括:采用sqoop分布式抽取从实时数据库中采集实时数据,传输至分布式文件系统中;采用Spark Streming计算引擎和Mapreduce计算引擎对分布式文件系统中的数据进行处理,生成停电结果数据;对所述停电结果数据进行应用。解决了实时数据的同步需求和实时数据计算数据交互问题,实现了TB级别数据量的实时数据的同步与计算,万级计算任务在30分钟内完成,同时,基于对实时数据的计算与分析,提高了停电监测分析及预警能力,提升了停电事件的精准的服务能力。
0/0