一种基于电力大数据平台海量数据并行处理的测试方法

    公开(公告)号:CN104794007A

    公开(公告)日:2015-07-22

    申请号:CN201510213675.9

    申请日:2015-04-29

    IPC分类号: G06F9/50 G06F11/36

    摘要: 本发明提出一种基于电力大数据平台海量数据并行处理的测试方法,方法包括:将对单个文件的操作方法封装为可运行Java程序;启动虚拟用户,并发运行可运行Java程序,观察记录单个用户的响应时间和电力大数据平台集群的网络吞吐量、磁盘IO、CPU和内存资源的占用情况;逐渐增加运行可运行Java程序的虚拟用户个数,观察记录当前平均单个用户的响应时间和电力大数据平台集群的网络吞吐量、磁盘IO、CPU和内存资源的占用情况;当平均单个用户的响应时间增加至初始值的10倍时,停止增加虚拟用户,该负载情况即为电力大数据平台的最大负载量,完成压力测试过程。本发明保证了电力大数据平台并发执行指定数量的测试负载,测试结果可控、可靠。

    一种用电信息数据质量分析系统

    公开(公告)号:CN105786996A

    公开(公告)日:2016-07-20

    申请号:CN201610091425.7

    申请日:2016-02-18

    IPC分类号: G06F17/30 G06Q50/06

    摘要: 本发明提供一种用电信息数据质量分析系统,包括用于采集并存储用电信息数据的数据准备模块、基于数据准备模块中的用电信息数据,建立用于查询及计算的数据表的数据集成模块和根据数据集成模块中的数据表,计算用电信息数据的指标集,得到用电信息数据的有效率的数据分析模块。本发明实现了基于Hadoop、Spark计算框架和R语言的用电信息采集数据质量分析,提高了用电信息采集数据质量分析效果,实现了对海量用电信息采集数据质量分析的支持,大大提高了对海量用电信息采集数据质量分析的效率和速度;以快速高效的方式实现海量用电信息采集数据的准备工作;简化了数据挖掘的流程,很大程度地提高了数据挖掘的速度和效率。