大数据存储中副本存放、补全、节点选择方法及管理系统

    公开(公告)号:CN110535898B

    公开(公告)日:2022-10-04

    申请号:CN201810545954.9

    申请日:2018-05-25

    IPC分类号: H04L67/1008 H04L67/1097

    摘要: 本发明涉及大数据存储中副本存放、补全、节点选择方法及管理系统,该节点选择方法为:根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标,其中将数据发生故障的概率的预测值列入评价指标,确定各个评价指标的权值,根据权值计算得到数据节点进行副本存储。基于上述节点选择方法,按照三副本方案选择合适的节点进行副本存放。在副本故障需要补全时,先按照故障节点所在的机架上的活动节点进行副本补全,当副本故障节点所在的机架不能正常工作时,选择故障率相近的活动节点进行副本补全。本发明在不影响副本安全的情况下有效提高存储时的写入效率和负载均衡程度,从根本上解决集群长时间运行以后需要负载均衡的问题。

    大数据存储中副本存放、补全、节点选择方法及管理系统

    公开(公告)号:CN110535898A

    公开(公告)日:2019-12-03

    申请号:CN201810545954.9

    申请日:2018-05-25

    IPC分类号: H04L29/08

    摘要: 本发明涉及大数据存储中副本存放、补全、节点选择方法及管理系统,该节点选择方法为:根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标,其中将数据发生故障的概率的预测值列入评价指标,确定各个评价指标的权值,根据权值计算得到数据节点进行副本存储。基于上述节点选择方法,按照三副本方案选择合适的节点进行副本存放。在副本故障需要补全时,先按照故障节点所在的机架上的活动节点进行副本补全,当副本故障节点所在的机架不能正常工作时,选择故障率相近的活动节点进行副本补全。本发明在不影响副本安全的情况下有效提高存储时的写入效率和负载均衡程度,从根本上解决集群长时间运行以后需要负载均衡的问题。

    一种海量终端通信接入系统

    公开(公告)号:CN104363278A

    公开(公告)日:2015-02-18

    申请号:CN201410638375.0

    申请日:2014-11-13

    IPC分类号: H04L29/08

    摘要: 本发明涉及一种海量终端通信接入系统,该通信接入系统包括n个通信组、业务处理服务器集群和k个终端,k个终端按照地域分为N个分组,每个分组设置一个区域网关,各分组中的终端通过其分组中的区域网关进行通信,每个通信组均包括前置路由服务器和通信管理机;通信管理机用于接收各分组中终端传输的数据并上传至对应的前置路由服务器,前置路由服务器用于根据不同接收数据所属终端类型和报文类型,将接收的数据上传至业务处理服务器集群,或者将业务处理服务器集群的下发命令通过通信管理机发送给终端,业务处理服务器集群用于对接收到的数据进行处理或者下发命令。

    一种用电信息采集系统的海量数据存储方法及系统

    公开(公告)号:CN104320495A

    公开(公告)日:2015-01-28

    申请号:CN201410647064.0

    申请日:2014-11-13

    IPC分类号: H04L29/08 H04L12/24

    CPC分类号: H04L67/1097 H04L67/1074

    摘要: 本发明涉及一种用电信息采集系统的海量数据存储方法及系统,属于用电信息采集数据存储技术领域。本发明通过在每个存储子节点上配置有监测客户端,将各节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点,经由调度与管理节点的分配,前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库,数据流并不通过调度和管理节点。通过合理调度可建立起由多个点对点通信链路构成的用于数据存储的通信网络,可有效避免数据热点的产生,最大化利用系统的网络传输资源,分布式存储子节点集群的部署成本较低、扩展性好。

    智能电表及其系统、自诊断方法和故障检测方法

    公开(公告)号:CN109407039B

    公开(公告)日:2021-09-14

    申请号:CN201811347034.2

    申请日:2018-11-13

    IPC分类号: G01R35/04

    摘要: 本发明提供一种智能电表及其系统、自诊断方法和故障检测方法,自诊断方法包括如下步骤:获取本智能电表在设定时间内的电压变化曲线和设定区域内其他智能电表在设定时间内的电压变化曲线;计算本智能电表在设定时间内电压变化曲线与设定区域内其他智能电表在设定时间内电压变化曲线的相关系数;判断计算出的相关系数是否大于设定值,如果不大于,则判断为本智能电表异常。本发明所提供的技术方案,用电主站根据各智能电表的异常信息即可下发任务对异常的电表做进一步的状态检测和故障分析,不需要对各智能电表的数据进行分析和运算,所以对用电主站硬件的数量和性能要求不高,能够降低用电主站的成本。

    基于分布式集群的数据处理方法与系统

    公开(公告)号:CN107943615B

    公开(公告)日:2020-08-18

    申请号:CN201711079128.1

    申请日:2017-11-06

    IPC分类号: G06F11/14 G06F16/27

    摘要: 本发明涉及基于分布式集群的数据处理方法与系统,同个数据分区下的所有数据块的各个备份数据中,以数据分区为单位,第一个备份数据存储在所在的数据节点内,其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内,分别称为第一和第二备份节点;当数据分区服务器发生宕机或不提供服务时,转移数据分区到数据分区较少的数据节点内。在发生节点故障导致分区转移后,为转移后的分区提供服务的分区服务器仍从本地获取数据,而不从通过网络从其他节点获取数据,实现数据分区不通过网络仍能访问数据,提高分区服务器节点故障后的分布式数据库的访问效率,解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。