输变电设备状态监测大数据快速接收和分发系统

    公开(公告)号:CN105007294A

    公开(公告)日:2015-10-28

    申请号:CN201510271669.9

    申请日:2015-05-26

    摘要: 本发明涉及一种输变电设备状态监测大数据快速接收和分发系统,包括主控节点、多个数据节点和订阅进程节点,主控节点接收来自电力系统的监测数据,建立订阅进程与数据优先级队列的映射关系,包括负载均衡器,负载均衡器根据所述映射关系将需要分发的数据均匀地发送给多个数据节点;数据节点对接收到的每条消息分配一个唯一的id,每个数据优先级队列在数据节点的内存中对应一个索引表,索引表的每一行对应一个消息盒,该行的值是对应消息盒中第一条消息的id;订阅进程节点从数据节点获取订阅的监测数据。本发明的借助新兴的内存集群技术,设计了一个分布式的、考虑数据优先级的消息缓冲队列,实现监测大数据的快速收集、缓存和有效分发。

    一种基于HBase的电网设备状态监测数据存储和查询方法及系统

    公开(公告)号:CN104850640A

    公开(公告)日:2015-08-19

    申请号:CN201510274013.2

    申请日:2015-05-26

    IPC分类号: G06F17/30

    CPC分类号: G06F16/2471 G06F16/2453

    摘要: 本发明涉及一种基于HBase的电网设备状态监测数据存储和查询方法及系统,方法包括:汇聚节点收集状态监测数据,并上传至HDFS主控节点:HDFS主控节点把接收到的状态监测数据合并生成大文件,并上传到HDFS;MapReduce模块读取上传到HDFS中的数据,并根据读取的数据生成rowkey,根据rowkey构建HBase表;设置查询条件,HBase根据所述查询条件和rowkey进行查询。本发明将电网设备状态监测数据与HBase、HDFS相结合,能够支持海量状态检测数据的可靠存储和快速的多条件查询。

    一种局部放电脉冲电流的波形特征提取方法

    公开(公告)号:CN102854445B

    公开(公告)日:2014-11-19

    申请号:CN201210396459.9

    申请日:2012-10-18

    IPC分类号: G01R31/12 G01R29/02

    摘要: 本发明涉及一种局部放电脉冲电流的波形特征提取方法,包含以下步骤:采集变压器局部放电信号数据;对该局放信号进行脉冲波形信号的自动提取;对所提取的单个放电脉冲波形的各个微观特征参数进行计算;对局放脉冲波形微观特征参数进行特征空间降维。本发明能有效的在连续采样波形信号中提取其微观特征;克服了目前数字式局放仪大多仅利用局放数据的宏观特征进行统计分析处理,不能完全充分利用获得的局放数据的不足;能够从采集数据中自适应的提取各种放电类型的单个放电脉冲波形,并通过改进的流形学习算法对波形微观特征进行有效降维,提取低维且有效的放电脉冲波形特征。

    输变电设备状态监测大数据快速接收和分发系统

    公开(公告)号:CN105007294B

    公开(公告)日:2018-06-08

    申请号:CN201510271669.9

    申请日:2015-05-26

    摘要: 本发明涉及一种输变电设备状态监测大数据快速接收和分发系统,包括主控节点、多个数据节点和订阅进程节点,主控节点接收来自电力系统的监测数据,建立订阅进程与数据优先级队列的映射关系,包括负载均衡器,负载均衡器根据所述映射关系将需要分发的数据均匀地发送给多个数据节点;数据节点对接收到的每条消息分配一个唯一的id,每个数据优先级队列在数据节点的内存中对应一个索引表,索引表的每一行对应一个消息盒,该行的值是对应消息盒中第一条消息的id;订阅进程节点从数据节点获取订阅的监测数据。本发明的借助新兴的内存集群技术,设计了一个分布式的、考虑数据优先级的消息缓冲队列,实现监测大数据的快速收集、缓存和有效分发。

    一种大规模电力设备监测报警数据实时处理方法及系统

    公开(公告)号:CN107968840A

    公开(公告)日:2018-04-27

    申请号:CN201711353258.X

    申请日:2017-12-15

    发明人: 宋亚奇 李莉

    IPC分类号: H04L29/08 H02J13/00

    摘要: 一种大规模电力设备监测报警数据实时处理方法及系统,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统,其对监测数据的处理过程包括:1)负责报警数据接收与分发的数据收集服务器集群,2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现;3)特征提取模块基于SparkStreaming实时数据处理技术实现;4)模式识别模块基于SparkStreaming实时数据处理技术实现;5)机器学习模块基于Spark大数据技术实现。其实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法,可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。

    一种局部放电脉冲电流的波形特征提取方法

    公开(公告)号:CN102854445A

    公开(公告)日:2013-01-02

    申请号:CN201210396459.9

    申请日:2012-10-18

    IPC分类号: G01R31/12 G01R29/02

    摘要: 本发明涉及一种局部放电脉冲电流的波形特征提取方法,包含以下步骤:采集变压器局部放电信号数据;对该局放信号进行脉冲波形信号的自动提取;对所提取的单个放电脉冲波形的各个微观特征参数进行计算;对局放脉冲波形微观特征参数进行特征空间降维。本发明能有效的在连续采样波形信号中提取其微观特征;克服了目前数字式局放仪大多仅利用局放数据的宏观特征进行统计分析处理,不能完全充分利用获得的局放数据的不足;能够从采集数据中自适应的提取各种放电类型的单个放电脉冲波形,并通过改进的流形学习算法对波形微观特征进行有效降维,提取低维且有效的放电脉冲波形特征。

    一种基于改进多尺度熵的变压器振动信号特征提取方法

    公开(公告)号:CN107992804A

    公开(公告)日:2018-05-04

    申请号:CN201711140678.X

    申请日:2017-11-16

    发明人: 李莉

    IPC分类号: G06K9/00

    摘要: 基于改进多尺度熵的特征提取方法,对信号利用离差标准化方法进行归一化处理;对归一化后的振动信号进行EEMD分解,获得IMF函数;多尺度化构建基于EEMD的连续粗粒化时间序列;对第ε尺度上的序列 按连续序号生成一组m维矢量;定义Yε(i)与Yε(j)之间的距离d[Yε(i),Yε(j)]为尺度ε上矢量Yε(i)和Yε(j)对应元素差值的绝对值的最大值;对于给定的相似容限r,对每一个i值统计d[Yε(i),Yε(j)]小于r的数目及此数目与距离总数的N-m的比值;对所有i求 的平均值;再对维数m+1,重复上述步骤,得到Cε,n+1(r);改进多尺度熵定义为EMSE(ε,m,r)=lnCε,m(r)-lnCε,m+1(r);将1~Ψ尺度上的改进多尺度熵EMSE作为变压器振动信号的特征矢量。

    基于大数据和随机森林的变压器多特征参量选择方法

    公开(公告)号:CN107782442A

    公开(公告)日:2018-03-09

    申请号:CN201711003253.4

    申请日:2017-10-24

    发明人: 李莉

    IPC分类号: G01H17/00 G06K9/62 G06K9/00

    摘要: 一种基于大数据和随机森林的变压器多特征参量选择方法,其包含步骤:1)对海量变压器振动监测历史数据进行多副本可靠云存储;2)对所述变压器振动信号进行多特征参量的高效选择,该计算是基于MapReduce并行框架,使用任务管道方式设计并行化的变压器绕组状态参量与故障类别关联性的分析算法,其中任务管道由数个MapReduce任务串联完成,所述任务表示为Job,其中Job1使用基于C4.5的启发式算法并行构建随机森林,Job2应用袋外误差率,在Job1构建的随机森林上计算各状态参量与故障类别之间的关联度。另外还可借助Job3对Job2的计算结果进行排序并根据状态参量特征的重要性进行筛选。

    一种大规模电力设备监测报警数据实时处理方法及系统

    公开(公告)号:CN107968840B

    公开(公告)日:2020-10-09

    申请号:CN201711353258.X

    申请日:2017-12-15

    发明人: 宋亚奇 李莉

    IPC分类号: H04L29/08 H02J13/00

    摘要: 一种大规模电力设备监测报警数据实时处理方法及系统,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统,其对监测数据的处理过程包括:1)负责报警数据接收与分发的数据收集服务器集群,2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现;3)特征提取模块基于SparkStreaming实时数据处理技术实现;4)模式识别模块基于SparkStreaming实时数据处理技术实现;5)机器学习模块基于Spark大数据技术实现。其实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法,可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。

    大规模输变电设备监测数据流的快速异常检测方法

    公开(公告)号:CN107846472A

    公开(公告)日:2018-03-27

    申请号:CN201711188381.0

    申请日:2017-11-24

    发明人: 宋亚奇 李莉

    IPC分类号: H04L29/08 G06K9/62

    摘要: 本发明公开了一种大规模输变电设备监测数据流的快速异常检测方法,该方法借助使用DBScan算法对历史数据进行聚类和类别标记,并将标记后的样本发送至SparkStreaming集群,用于实时增量聚类;而前置机接收各种终端发送过来的数据流,并将数据流推送到Spark Steaming集群处理,在Spark Steaming集群上完成实时特征提取及归一化处理;然后进行实时聚类,以完成对新样本类别的判断。借助该方法,本发明可以实现智能电网大规模数据流快速分析,及大规模输变电设备监测数据流的快速异常检测。