-
公开(公告)号:CN103618772B
公开(公告)日:2018-12-11
申请号:CN201310584102.8
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: H04L29/08 , H04L12/803
Abstract: 基于主机压力的负载均衡分发方法,涉及一种负载均衡分发方法。传统的负载均衡技术大在服务器的负载分配上容易发生某几台过载的情况。本发明包括以下步骤:根据各网关服务器的硬件配置情况设定权重;负载均衡器维护网关服务器列表及各网关服务器的权重信息;负载均衡器决定分发路径,并更新当前各网关服务器的链路数量;负载均衡器向网关服务器每分配一条连接,将其当前链路数量计量器加1;当一网关服务器的服务发生异常时,负载均衡器将原异常网关服务器的链路分配至网关服务器上;当网关服务器的负载超过预设的阀值,不再将新的连接分配到该网关服务器上。本技术方案能有效避免某几台网关服务器过载而产生系统性能瓶颈的情况发生。
-
公开(公告)号:CN103618671B
公开(公告)日:2018-05-22
申请号:CN201310584347.0
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江华云信息科技有限公司
Abstract: 大规模数据采集业务多组分发系统及其分发方法,涉及报文的分发系统。目前,大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本发明包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群,通讯前置机与网关相连,业务处理器与通讯前置机相连,所述的通讯前置机用于调度和保存上下行报文;业务处理器集群分为多个业务处理器组,通讯前置机设有数量与业务处理器组相对应的管理单元,管理单元之间相互独立,每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库,提高分发效率。
-
公开(公告)号:CN103618772A
公开(公告)日:2014-03-05
申请号:CN201310584102.8
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
IPC: H04L29/08 , H04L12/803
Abstract: 基于主机压力的负载均衡分发方法,涉及一种负载均衡分发方法。传统的负载均衡技术大在服务器的负载分配上容易发生某几台过载的情况。本发明包括以下步骤:根据各网关服务器的硬件配置情况设定权重;负载均衡器维护网关服务器列表及各网关服务器的权重信息;负载均衡器决定分发路径,并更新当前各网关服务器的链路数量;负载均衡器向网关服务器每分配一条连接,将其当前链路数量计量器加1;当一网关服务器的服务发生异常时,负载均衡器将原异常网关服务器的链路分配至网关服务器上;当网关服务器的负载超过预设的阀值,不再将新的连接分配到该网关服务器上。本技术方案能有效避免某几台网关服务器过载而产生系统性能瓶颈的情况发生。
-
公开(公告)号:CN103617210B
公开(公告)日:2019-03-12
申请号:CN201310584070.1
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F9/54
Abstract: 一种多目标数据服务层的动态路由系统及其工作方法,涉及一种数据访问系统。如果使用现有的业务逻辑层实现原有数据服务层和云数据服务层的并行访问,采用更改业务逻辑接口的程序和源代码,稳定性差。本发明包括:视图模块;业务逻辑接口;动态路由器,与业务逻辑接口及数据服务模块和云数据服务模块相连,用于根据业务逻辑接口的请求选择访问连接数据服务模块或云数据服务模块;动态路由配置模块,用于完成动态路由的配置,其与视图模块相连;一般数据服务模块,连接动态路由器及一般数据库,用于解析并访问一般数据库;云数据服务模块,连接动态路由器,用于访问云数据库。本技术方案保证原有应用系统业务逻辑层的稳定性。
-
公开(公告)号:CN106651633A
公开(公告)日:2017-05-10
申请号:CN201610879932.7
申请日:2016-10-09
Applicant: 国网浙江省电力公司信息通信分公司 , 国家电网公司 , 浙江华云信息科技有限公司
Abstract: 一种基于大数据技术的用电信息采集系统及其采集方法,涉及用电信息采集系统及其采集方法。目前用电信息采集系统存在高速海量数据存储计算模型欠缺和耗时、且计算效果不佳的问题。本发明包括:通信服务模块;数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中;数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元;数据展现模块:与数据存储模块相连。本技术方案实时计算和离线计算采用不同的处理方式,提高数据的实时处理能力和计算速度并有效减少存储空间。
-
公开(公告)号:CN103618620A
公开(公告)日:2014-03-05
申请号:CN201310584327.3
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
IPC: H04L12/24 , H04L12/26 , H04L12/861 , H04L12/803
Abstract: 多层结构的前置机系统,涉及一种前置机系统。传统大规模数据采集通信前置机的通信接入与业务处理部署在同一服务器,单点故障将影响整个前置机系统,系统扩展性也较差。本发明特征在于包括:通信网关;通信前置机;业务处理器;通信网关、通信前置机和业务处理器三个节点均设有缓存模块、缓存恢复模块和大容量采集处理模块,缓存模块和缓存恢复模块用于消除单点故障影响,保障采集数据的完整性;大容量采集处理模块用于处理可能存在的通信拥堵矛盾,保障数据采集性能。本技术方案将传统功能紧密耦合的前置机系统进行模块化拆分,分摊系统压力,化解大规模数据采集通信瓶颈;消除单点故障影响,保障采集数据的完整性。
-
公开(公告)号:CN103618771B
公开(公告)日:2018-08-14
申请号:CN201310583941.8
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
Abstract: 自动管理的终端档案分区缓存系统,涉及分配自动管理系统及其工作方法。大规模数据采集业务中,各服务器均缓存全部终端档案,加载性能低下和内存消耗过大。本发明特征在于:包括通讯前置机、业务处理器、单位代码管理器及主站;业务处理器与单位代码管理器及通讯前置机连接;主站与通讯前置机、业务处理器、单位代码管理器连接;单位代码管理器设数据库,单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器,业务处理器在缓存中加载分配给自己的终端档案,前置机根据终端的归属关系将数据上送至对应的业务处理器。本技术方案业务处理器只在缓存中加载已分配给自己的终端档案,不必缓存全部终端档案,提高加载性能,降低内存消耗。
-
公开(公告)号:CN106502772A
公开(公告)日:2017-03-15
申请号:CN201610880143.5
申请日:2016-10-09
Applicant: 国网浙江省电力公司信息通信分公司 , 国家电网公司 , 浙江华云信息科技有限公司
CPC classification number: Y02D10/24 , Y02D10/45 , G06F9/4881 , G06F16/27
Abstract: 基于分布式离线技术的电量数据批量高速处理方法及系统,涉及一种数据批处理方法及系统。目前,高速海量数据存储计算模型欠缺,未能满足不同种类、不同形式的海量数据存储、计算。本发明包括以下步骤:1)电量采集前置机将采集电量实时发送到Kafka队列缓存;2)Storm集群读取Kafka队列电量信息,并实时存储到Hbase;3)Spark在Hbase中抽取需要处理的电量信息,并将其导入到Hive数据表;4)通过Spark离线计算操作相关Hive数据表得到当期电量,并对相关异常处理;本技术方案集Storm和Spark的优点,提升整体计算处理容量。从事务保障任务节点动态迁移技术,提出完整的任务节点迁移的事务保障协议,在确保迁移过程中流系统消息不丢包、不重复的同时,提高迁移本身的执行效率,提升系统稳定性。
-
公开(公告)号:CN103810238A
公开(公告)日:2014-05-21
申请号:CN201310584833.2
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
IPC: G06F17/30
CPC classification number: G06F16/273 , G06F16/258
Abstract: 一种基于异步处理的大数据量Excel文件导出方法,涉及一种数据导出方法。目前,处理大规模数据导出方法占用内存资源过大。本发明包括以下步骤:Excel辅助应用模块将Excel数据分成若干数据组;当应用系统向Excel辅助应用模块发送Excel数据导出请求时,Excel辅助应用模块向多个处理器提出Excel数据导出请求;每个处理器处理Excel数据导出请求时,都在指定存储路径新建一个Excel文件;多个Excel文件叠加构成的完整的Excel文件,用户在存储路径下查看并下载生成的Excel文件。本技术方案业务处理时间短,占用单个处理器的内存资源小,系统性能不受影响,提高用户使用友好度。
-
公开(公告)号:CN103618671A
公开(公告)日:2014-03-05
申请号:CN201310584347.0
申请日:2013-11-20
Applicant: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
Abstract: 大规模数据采集业务多组分发系统及其分发方法,涉及报文的分发系统。目前,大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本发明包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群,通讯前置机与网关相连,业务处理器与通讯前置机相连,所述的通讯前置机用于调度和保存上下行报文;业务处理器集群分为多个业务处理器组,通讯前置机设有数量与业务处理器组相对应的管理单元,管理单元之间相互独立,每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库,提高分发效率。
-
-
-
-
-
-
-
-
-