-
公开(公告)号：CN104331435B
公开(公告)日：2017-11-21
申请号：CN201410569282.7
申请日：2014-10-22
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据；将变化数据分别放到各自类别的文件中；利用MapReduce对数据进行解析与处理；对数据进行清洗、转换和过滤异常数据，并转换成适合分布式数据库HBase存储的格式；采用批量导入数据的方式将数据装载到分布式数据库HBase中；使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中，由于通过对数据源日志文件的分析实现对增量数据的抽取，因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号：CN104331435A
公开(公告)日：2015-02-04
申请号：CN201410569282.7
申请日：2014-10-22
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30368 , G06F17/30569 , G06F17/30575
摘要： 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据；将变化数据分别放到各自类别的文件中；利用MapReduce对数据进行解析与处理；对数据进行清洗、转换和过滤异常数据，并转换成适合分布式数据库HBase存储的格式；采用批量导入数据的方式将数据装载到分布式数据库HBase中；使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中，由于通过对数据源日志文件的分析实现对增量数据的抽取，因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号：CN104579823A
公开(公告)日：2015-04-29
申请号：CN201410769037.0
申请日：2014-12-12
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于大数据流的网络流量异常检测系统及方法，其特征在于：分布式实时采集网络设备中的网络数据包信息，并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计，解析及检测后的网络数据根据异常状况存储到大数据平台，以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测，并且利用大数据平台分布式存储、数据计算分析的能力，实现网络数据分布式存储，更准确训练网络数据协议特征库。
-
公开(公告)号：CN104579823B
公开(公告)日：2016-08-24
申请号：CN201410769037.0
申请日：2014-12-12
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于大数据流的网络流量异常检测系统及方法，其特征在于：分布式实时采集网络设备中的网络数据包信息，并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计，解析及检测后的网络数据根据异常状况存储到大数据平台，以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测，并且利用大数据平台分布式存储、数据计算分析的能力，实现网络数据分布式存储，更准确训练网络数据协议特征库。
-
公开(公告)号：CN104317966B
公开(公告)日：2017-08-08
申请号：CN201410654100.6
申请日：2014-11-18
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。
-
公开(公告)号：CN104317966A
公开(公告)日：2015-01-28
申请号：CN201410654100.6
申请日：2014-11-18
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号： G06F17/30
CPC分类号： G06F17/3033 , G06F17/30333 , G06F17/30336 , G06F17/30631
摘要： 本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。
-
公开(公告)号：CN104318329A
公开(公告)日：2015-01-28
申请号：CN201410557450.0
申请日：2014-10-20
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
摘要： 本发明公开了一种布谷鸟搜索算法改进支持向量机的电力负荷预测方法，包括以下步骤，步骤一，选取训练数据；步骤二，建立优化目标；步骤三，布谷鸟搜索算法初始化设置；步骤四，初始适应值计算；步骤五，新鸟窝位置计算；步骤六，鸟窝位置的选择；步骤七，判断宿主鸟是否发现外来鸟蛋；步骤八，判断是否达到最大迭代次数，若是，输出最优结果并退出，否则转至步骤五。本发明通过布谷鸟搜索算法优化了SVM的参数，提高了电力系统负荷预测的精度，相较与现有的网格搜索方法寻优能力更强，收敛速度更快，更适用于优化SVM的参数。
-
公开(公告)号：CN106485356A
公开(公告)日：2017-03-08
申请号：CN201610889305.1
申请日：2016-10-12
申请人： 国家电网公司 , 国网江苏省电力公司 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于业扩报装大数据的电量预测方法，针对业扩报装对电量增长的影响关系进行研究，通过对历史业扩报装数据进行大数据分析，研究业扩报装情况、运行容量、用电负荷利用率、用电量之间的关联关系，挖掘数据间的相关关系，量化具体的业扩与电量的影响关系，为业扩导致的电量增长预测提供了依据。
-
公开(公告)号：CN106570783A
公开(公告)日：2017-04-19
申请号：CN201610954108.3
申请日：2016-10-27
申请人： 国网江苏省电力公司 , 江苏方天电力技术有限公司 , 国家电网公司
IPC分类号： G06Q50/06
CPC分类号： G06Q50/06
摘要： 本发明公开了一种基于大数据思维的客户用电行为分析模型，结合用户所属的行业、地区背景，分析用户的用电构成、峰谷用能合理性、功率因素、产能利用率、超容用电、环境变化引起的用电量及负荷变化关联关系；将用电分析结果及合理用电建议推送给企业用户，指导用户合理签订购售电合同、选择电价政策、生产活动安排，降低用户的生产、用能成本，促进用户利益最大化；同时公司可通过价格、政策等措施引导、推进用户进行结构调整，转变增长方式；指导用户合理签订购售电合同、选择电价政策、生产活动安排、错峰用电，降低用户的生产、用能成本，促进用户利益最大化、促进节能降耗。
-
公开(公告)号：CN104063480B
公开(公告)日：2016-09-21
申请号：CN201410312530.X
申请日：2014-07-02
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种基于用电大数据的负荷曲线并行聚类方法，通过dbN小波系对所有负荷曲线进行小波去噪，以降低曲线中的小波动对聚类结果产生的影响，并采用了基于多核并行技术的K均值聚类算法进行负荷曲线聚类，筛选出特征明显的聚类结果，整合分析得到了最终的负荷曲线分类。本发明实现了海量负荷曲线的并行聚类算法，有效地提高了负荷曲线聚类的速度，为研究电力用户负荷特性，进行负荷、电量预测打下了基础。
-
-
-
-
-
-
-
-
-
搜索结果
68 条记录 (耗时 0.1 秒)
