-
公开(公告)号:CN104331435B
公开(公告)日:2017-11-21
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104331435A
公开(公告)日:2015-02-04
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30368 , G06F17/30569 , G06F17/30575
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104318329A
公开(公告)日:2015-01-28
申请号:CN201410557450.0
申请日:2014-10-20
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
摘要: 本发明公开了一种布谷鸟搜索算法改进支持向量机的电力负荷预测方法,包括以下步骤,步骤一,选取训练数据;步骤二,建立优化目标;步骤三,布谷鸟搜索算法初始化设置;步骤四,初始适应值计算;步骤五,新鸟窝位置计算;步骤六,鸟窝位置的选择;步骤七,判断宿主鸟是否发现外来鸟蛋;步骤八,判断是否达到最大迭代次数,若是,输出最优结果并退出,否则转至步骤五。本发明通过布谷鸟搜索算法优化了SVM的参数,提高了电力系统负荷预测的精度,相较与现有的网格搜索方法寻优能力更强,收敛速度更快,更适用于优化SVM的参数。
-
公开(公告)号:CN104317966B
公开(公告)日:2017-08-08
申请号:CN201410654100.6
申请日:2014-11-18
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN104317966A
公开(公告)日:2015-01-28
申请号:CN201410654100.6
申请日:2014-11-18
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/3033 , G06F17/30333 , G06F17/30336 , G06F17/30631
摘要: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN104063810B
公开(公告)日:2017-09-12
申请号:CN201410317302.1
申请日:2014-07-04
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06F17/00
摘要: 本发明公开了一种基于大数据思维的用电因素影响模型的构建方法,通过对温度、湿度、风力、节假日、周末等电量影响因素进行分析,根据单一用电影响因素以及多因素的重叠影响,搭建用电量影响因素模型。本发明实现了对用电因素影响率的量化标准,确切计算出不同环境下对用电量的影响率,为电量及负荷的预测提供了依据。
-
公开(公告)号:CN104063810A
公开(公告)日:2014-09-24
申请号:CN201410317302.1
申请日:2014-07-04
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06Q50/06
摘要: 本发明公开了一种基于大数据思维的用电因素影响模型,通过对温度、湿度、风力、节假日、周末等电量影响因素进行分析,根据单一用电影响因素以及多因素的重叠影响,搭建用电量影响因素模型。本发明实现了对用电因素影响率的量化标准,确切计算出不同环境下对用电量的影响率,为电量及负荷的预测提供了依据。
-
公开(公告)号:CN104063480B
公开(公告)日:2016-09-21
申请号:CN201410312530.X
申请日:2014-07-02
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于用电大数据的负荷曲线并行聚类方法,通过dbN小波系对所有负荷曲线进行小波去噪,以降低曲线中的小波动对聚类结果产生的影响,并采用了基于多核并行技术的K均值聚类算法进行负荷曲线聚类,筛选出特征明显的聚类结果,整合分析得到了最终的负荷曲线分类。本发明实现了海量负荷曲线的并行聚类算法,有效地提高了负荷曲线聚类的速度,为研究电力用户负荷特性,进行负荷、电量预测打下了基础。
-
公开(公告)号:CN104063480A
公开(公告)日:2014-09-24
申请号:CN201410312530.X
申请日:2014-07-02
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30598 , G06F17/30705
摘要: 本发明公开了一种基于用电大数据的负荷曲线并行聚类方法,通过dbN小波系对所有负荷曲线进行小波去噪,以降低曲线中的小波动对聚类结果产生的影响,并采用了基于多核并行技术的K均值聚类算法进行负荷曲线聚类,筛选出特征明显的聚类结果,整合分析得到了最终的负荷曲线分类。本发明实现了海量负荷曲线的并行聚类算法,有效地提高了负荷曲线聚类的速度,为研究电力用户负荷特性,进行负荷、电量预测打下了基础。
-
公开(公告)号:CN101227102B
公开(公告)日:2010-06-09
申请号:CN200810019307.0
申请日:2008-01-02
申请人: 江苏省电力公司 , 江苏方天电力技术有限公司
CPC分类号: Y02B90/2653 , Y02B90/2684 , Y02E60/7853 , Y02E60/7861 , Y02E60/7884 , Y04S40/126 , Y04S40/127 , Y04S40/143
摘要: 本发明涉及集成低压集抄系统、配变监测系统等功能,并在此集成的基础上实现新的功能应用,如无功补偿、低压线损管理等功能。属于电力自动化技术领域。它包括:(1)通讯机;(2)数据采集机;(3)任务管理机,进行自动任务和手动任务管理,把数据采集机获取的数据存入原始数据库;(4)在低压集抄应用服务器和配变监测应用服务器的基础之上,建立配变台区综合利用平台库,在此平台数据库的基础上,统一进行配变台区的信息综合利用。本发明集成低压集抄系统、配变监测系统两个系统功能,数据资源可以共享;统一通讯前置机之后,可以共享通信资源;在平台数据库之上,可以实现无功补偿、低压线损等高级应用功能。
-
-
-
-
-
-
-
-
-