-
公开(公告)号:CN104331435B
公开(公告)日:2017-11-21
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104331435A
公开(公告)日:2015-02-04
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30368 , G06F17/30569 , G06F17/30575
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104579823B
公开(公告)日:2016-08-24
申请号:CN201410769037.0
申请日:2014-12-12
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要: 本发明公开了一种基于大数据流的网络流量异常检测系统及方法,其特征在于:分布式实时采集网络设备中的网络数据包信息,并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计,解析及检测后的网络数据根据异常状况存储到大数据平台,以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测,并且利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,更准确训练网络数据协议特征库。
-
公开(公告)号:CN104506614A
公开(公告)日:2015-04-08
申请号:CN201410805490.2
申请日:2014-12-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司信息通信分公司
CPC分类号: H04L67/10 , H04L63/105 , H04L67/1034
摘要: 本发明公开了一种基于云计算的分布式多活数据中心的设计方法,包括以下步骤:(1)数据中心网络采用大二层架构设计,通过大规模二层网络和VLAN延伸,实现虚拟机在数据中心内部的大范围转移;(2)采用虚拟交换机技术实现数据中心网络的故障隔离;(3)数据中心网络采用板卡延伸技术来接入交换机,所述板卡延伸技术同时可以让数据中心网络感知到虚拟机;(4)设计构建物理上分离但逻辑上一体的跨数据中心网络实现数据中心的互联,并基于所述跨数据中心网络来建立分布式虚拟化的数据中心;(5)数据中心的安全防护采用多层次的安全防护,包括设备级的安全防护、网络级的安全防护、系统级的主动安全防护。
-
公开(公告)号:CN104468631A
公开(公告)日:2015-03-25
申请号:CN201410852491.2
申请日:2014-12-31
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司信息通信分公司
IPC分类号: H04L29/06
CPC分类号: H04L63/1416
摘要: 本发明公开了一种基于IP终端异常流量及黑白名单库的网络入侵识别方法,包括采用基线分析法设定流量预制门限进行预警,提取异常流量特征进行预警,建立黑白名单库,对于非白名单IP访问服务器进行预警,并且在监测过程中,流量分析库,异常流量特征库,黑白名单库不断更新完善。使用本发明方法去处理当电力系统服务器遭到网络入侵时能够及时告警,提示网络运维人员及时关注和处理,避免网络入侵造成系统崩溃和网络全面瘫痪给电网造成重大损失。
-
公开(公告)号:CN105373904A
公开(公告)日:2016-03-02
申请号:CN201510989944.0
申请日:2015-12-24
申请人: 江苏方天电力技术有限公司 , 江苏省电力公司信息通信分公司 , 江苏省电力公司 , 国家电网公司
CPC分类号: G06Q10/06393 , G06Q50/06
摘要: 本发明涉及一种基于调控数据评价模型在信息系统运维的应用方法,旨在根据调控数据指标对信息系统运维管理工作进行量化,以客观的角度对信息系统运维管理工作进行评价,对信息系统运维管理工作进行有效的监督,不断提升电网信息系统运维管理水平,保障电网产业快速发展,进一步为国民经济的发展提供稳定的能源支持。
-
公开(公告)号:CN104601570A
公开(公告)日:2015-05-06
申请号:CN201510016896.7
申请日:2015-01-13
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
IPC分类号: H04L29/06
CPC分类号: H04L63/30
摘要: 本发明公开了一种基于旁路监听和软件抓包技术的网络安全监控方法,包括(1)在和网络安全防护服务器同网段的交换机上设置旁路监听;(2)配置需要监听其网络包的源服务器IP和数据发送端口;(3)设置抓包时长和抓包间隔;(4)抓取并缓存网络数据包并分析,通过正则表达式获取数据包里的源IP列表;(5)记录源IP地址形成已知IP地址库;(6)由网络嗅探工具发现新接入网络的终端;(7)将所述源IP列表和局域网内所有PC服务器列表做比较,判定该客户PC终端是否安装相应的安全防护软件。本发明可提高未安装安全防护软件PC终端的发现率和发现速度,减少未安装安全防护软件的PC终端接入网络导致的潜在病毒和木马的攻击。
-
公开(公告)号:CN104539053B
公开(公告)日:2017-04-12
申请号:CN201410854336.4
申请日:2014-12-31
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司信息通信分公司
摘要: 本发明公开了一种基于爬虫技术的电力调度自动化巡检机器人及巡检方法,其中巡检机器人包括远程接口服务模块,主控程序模块,任务模块,脚本解析模块,巡检上传数据处理模块,异常管理模块和运行状态监控模块,本发明的巡检机器人基于爬虫技术,通过HTTP代理方式,模拟HTTP请求,利用HttpClient和HtmlParser开源组件针对URL连接和界面解析的技术,实现爬取需要监控的业务系统的链接和关键数据,实现对信息系统的自动化巡检。采用本发明,可以大量巡检信息系统,通过录制脚本的形式,达到巡检的目的,简化了信息系统巡检的过程,使得大量的重复人力资源得到释放,提高调度员巡检业务系统的工作效率。
-
公开(公告)号:CN104579823A
公开(公告)日:2015-04-29
申请号:CN201410769037.0
申请日:2014-12-12
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要: 本发明公开了一种基于大数据流的网络流量异常检测系统及方法,其特征在于:分布式实时采集网络设备中的网络数据包信息,并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计,解析及检测后的网络数据根据异常状况存储到大数据平台,以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测,并且利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,更准确训练网络数据协议特征库。
-
公开(公告)号:CN104539053A
公开(公告)日:2015-04-22
申请号:CN201410854336.4
申请日:2014-12-31
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司信息通信分公司
摘要: 本发明公开了一种基于爬虫技术的电力调度自动化巡检机器人及巡检方法,其中巡检机器人包括远程接口服务模块,主控程序模块,任务模块,脚本解析模块,巡检上传数据处理模块,异常管理模块和运行状态监控模块,本发明的巡检机器人基于爬虫技术,通过HTTP代理方式,模拟HTTP请求,利用HttpClient和HtmlParser开源组件针对URL连接和界面解析的技术,实现爬取需要监控的业务系统的链接和关键数据,实现对信息系统的自动化巡检。采用本发明,可以大量巡检信息系统,通过录制脚本的形式,达到巡检的目的,简化了信息系统巡检的过程,使得大量的重复人力资源得到释放,提高调度员巡检业务系统的工作效率。
-
-
-
-
-
-
-
-
-