基于分布式集群的数据处理方法与系统

    公开(公告)号:CN107943615B

    公开(公告)日:2020-08-18

    申请号:CN201711079128.1

    申请日:2017-11-06

    IPC分类号: G06F11/14 G06F16/27

    摘要: 本发明涉及基于分布式集群的数据处理方法与系统,同个数据分区下的所有数据块的各个备份数据中,以数据分区为单位,第一个备份数据存储在所在的数据节点内,其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内,分别称为第一和第二备份节点;当数据分区服务器发生宕机或不提供服务时,转移数据分区到数据分区较少的数据节点内。在发生节点故障导致分区转移后,为转移后的分区提供服务的分区服务器仍从本地获取数据,而不从通过网络从其他节点获取数据,实现数据分区不通过网络仍能访问数据,提高分区服务器节点故障后的分布式数据库的访问效率,解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

    基于分布式集群的数据处理方法与系统

    公开(公告)号:CN107943615A

    公开(公告)日:2018-04-20

    申请号:CN201711079128.1

    申请日:2017-11-06

    IPC分类号: G06F11/14 G06F17/30

    摘要: 本发明涉及基于分布式集群的数据处理方法与系统,同个数据分区下的所有数据块的各个备份数据中,以数据分区为单位,第一个备份数据存储在所在的数据节点内,其他各备份数据分别存储在其他数据节点中数据分区最少的两个数据节点内,分别称为第一和第二备份节点;当数据分区服务器发生宕机或不提供服务时,转移数据分区到数据分区较少的数据节点内。在发生节点故障导致分区转移后,为转移后的分区提供服务的分区服务器仍从本地获取数据,而不从通过网络从其他节点获取数据,实现数据分区不通过网络仍能访问数据,提高分区服务器节点故障后的分布式数据库的访问效率,解决了分布式数据库除了主压缩方法以外缺乏提高本地化率手段的问题。

    大数据存储中副本存放、补全、节点选择方法及管理系统

    公开(公告)号:CN110535898B

    公开(公告)日:2022-10-04

    申请号:CN201810545954.9

    申请日:2018-05-25

    IPC分类号: H04L67/1008 H04L67/1097

    摘要: 本发明涉及大数据存储中副本存放、补全、节点选择方法及管理系统,该节点选择方法为:根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标,其中将数据发生故障的概率的预测值列入评价指标,确定各个评价指标的权值,根据权值计算得到数据节点进行副本存储。基于上述节点选择方法,按照三副本方案选择合适的节点进行副本存放。在副本故障需要补全时,先按照故障节点所在的机架上的活动节点进行副本补全,当副本故障节点所在的机架不能正常工作时,选择故障率相近的活动节点进行副本补全。本发明在不影响副本安全的情况下有效提高存储时的写入效率和负载均衡程度,从根本上解决集群长时间运行以后需要负载均衡的问题。