公开(公告)号：CN107704594A

公开(公告)日：2018-02-16

申请号：CN201710951969.0

申请日：2017-10-13

Applicant: 东南大学

Inventor： 宋爱波 ,  涂金林

IPC: G06F17/30

CPC classification number: G06F16/244 ,  G06F16/2453 ,  G06F16/24532 ,  G06F16/24568

Abstract: 本发明公开了一种基于Spark Streaming的电力系统日志数据实时处理方法，首先针对全网日志数据流急剧增长，处理系统获取的日志数据的类别以及相关属性变化多样的问题，预定义统计模型，降低处理系统预处理的时间；然后通过对块间隔和处理时间关系的分析，发现基于块间隔的动态调整，能够使查询任务的处理时间达到最优；最后基于该方法设计了高效的动态调整策略，及时探寻到最优的块间隔，减少查询任务的处理时间，借此分析电力调度自动化系统的运行状态和轨迹，实现电力系统健康状况定性到定量的分析转换。本发明从而为电力系统日志数据的有效管理提供了一种高效、易用的实时处理方法。

公开(公告)号：CN107704594B

公开(公告)日：2021-02-09

申请号：CN201710951969.0

申请日：2017-10-13

Applicant: 东南大学

Inventor： 宋爱波 ,  涂金林

IPC: G06F16/2453 ,  G06F16/242 ,  G06F16/2455

Abstract: 本发明公开了一种基于Spark Streaming的电力系统日志数据实时处理方法，首先针对全网日志数据流急剧增长，处理系统获取的日志数据的类别以及相关属性变化多样的问题，预定义统计模型，降低处理系统预处理的时间；然后通过对块间隔和处理时间关系的分析，发现基于块间隔的动态调整，能够使查询任务的处理时间达到最优；最后基于该方法设计了高效的动态调整策略，及时探寻到最优的块间隔，减少查询任务的处理时间，借此分析电力调度自动化系统的运行状态和轨迹，实现电力系统健康状况定性到定量的分析转换。本发明从而为电力系统日志数据的有效管理提供了一种高效、易用的实时处理方法。