分布式数据存储系统中一致性动态调整方法及装置

    公开(公告)号:CN106375416A

    公开(公告)日:2017-02-01

    申请号:CN201610783920.4

    申请日:2016-08-30

    IPC分类号: H04L29/08 G06F17/30

    CPC分类号: H04L67/1097 G06F16/27

    摘要: 本发明提供一种分布式数据存储系统中一致性动态调整方法及装置。该方法,包括:所述协调节点获取分布式数据存储系统的性能参数;所述协调节点根据所述性能参数,计算所述分布式数据存储系统中用户请求的返回所需等待的每个副本应答数目对应的不一致性的概率和系统延迟;所述协调节点根据每个应答数目对应的不一致性的概率和系统延迟,获取不一致性的概率和系统延迟满足预设条件的至少一个第一应答数目;所述至少一个第一应答数目用于动态调整一致性等级。本发明能够实时自动地对分布式数据存储系统当前的运行状态作出符合用户延迟要求以及一致性要求的一致性等级的选择。

    分布式数据存储系统中一致性动态调整方法及装置

    公开(公告)号:CN106375416B

    公开(公告)日:2019-08-09

    申请号:CN201610783920.4

    申请日:2016-08-30

    IPC分类号: H04L29/08 G06F16/27

    摘要: 本发明提供一种分布式数据存储系统中一致性动态调整方法及装置。该方法,包括:所述协调节点获取分布式数据存储系统的性能参数;所述协调节点根据所述性能参数,计算所述分布式数据存储系统中用户请求的返回所需等待的每个副本应答数目对应的不一致性的概率和系统延迟;所述协调节点根据每个应答数目对应的不一致性的概率和系统延迟,获取不一致性的概率和系统延迟满足预设条件的至少一个第一应答数目;所述至少一个第一应答数目用于动态调整一致性等级。本发明能够实时自动地对分布式数据存储系统当前的运行状态作出符合用户延迟要求以及一致性要求的一致性等级的选择。

    聚合式大数据查询方法及装置

    公开(公告)号:CN106446039B

    公开(公告)日:2020-07-21

    申请号:CN201610786249.9

    申请日:2016-08-30

    IPC分类号: G06F16/2453 G06F16/2455

    摘要: 本发明提供一种聚合式大数据查询方法及装置,所述方法包括:获取聚合式大数据查询请求;根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务;将每个所述查询任务分解为m个数据组;获取每个数据组的大小,并确定所述n个查询任务中具有相同键值的数据组中数据量最大的数据组;确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点;通过所述查询任务执行节点执行聚合式大数据查询任务。本发明提供的聚合式大数据查询方法及装置,通过确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点,可以减小聚合式大数据查询过程中数据传输的网络开销。

    聚合式大数据查询方法及装置

    公开(公告)号:CN106446039A

    公开(公告)日:2017-02-22

    申请号:CN201610786249.9

    申请日:2016-08-30

    IPC分类号: G06F17/30

    CPC分类号: G06F16/24556 G06F16/24545

    摘要: 本发明提供一种聚合式大数据查询方法及装置,所述方法包括:获取聚合式大数据查询请求;根据所述聚合式大数据查询请求,从n个数据处理节点中获取n个查询任务;将每个所述查询任务分解为m个数据组;获取每个数据组的大小,并确定所述n个查询任务中具有相同键值的数据组中数据量最大的数据组;确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点;通过所述查询任务执行节点执行聚合式大数据查询任务。本发明提供的聚合式大数据查询方法及装置,通过确定所述数据量最大的数据组所对应的查询任务的数据处理节点为查询任务执行节点,可以减小聚合式大数据查询过程中数据传输的网络开销。