一种应用于移动分布式存储的数据布局方法

    公开(公告)号:CN114816257B

    公开(公告)日:2023-05-05

    申请号:CN202210464336.8

    申请日:2022-04-29

    申请人: 重庆大学

    IPC分类号: G06F3/06 H04L67/1097

    摘要: 本发明公开了一种应用于移动分布式存储的数据布局方法,采用参考点群组移动对移动集群的运动状态进行建模,通过节点的运动状态感知节点间的网络带宽,同时结合节点上的参数信息对数据布局做出综合决策,选出性能良好的节点,提高数据存储成功率;采用副本和纠删码的混合容错机制,在群组间使用传输数据量少的纠删码机制,群组内在纠删码的基础上使用副本机制,动态增加数据的冗余,提高数据的可靠性。

    一种数据容错方法及分布式存储系统

    公开(公告)号:CN114896098A

    公开(公告)日:2022-08-12

    申请号:CN202210464602.7

    申请日:2022-04-29

    申请人: 重庆大学

    IPC分类号: G06F11/08 G06F11/07 G06F3/06

    摘要: 本发明公开了一种数据容错方法和分布式存储系统,其通过将文件经编码容错技术获得的多个原始数据块分发到对应的数据节点上,相比于现有的采用传统冗余机制对生成的原始数据块立即生成三副本的方法,本发明能减少文件初始上传时的网络传输压力,对数据的写放大问题有很好的优化效果;在数据节点随着文件操作过程中生成潜在副本时,向管理节点询问是否保留生成的潜在副本,并由管理节点设置的文件生命周期管理策略,对相应的潜在副本进行销毁。本发明的潜在副本随着系统的常规操作产生,只需要向管理节点询问是否保留副本资源,几乎不额外消耗网络带宽资源,从而能够在保证数据修复性能的同时,减少系统的存储开销。

    一种数据容错方法及分布式存储系统

    公开(公告)号:CN114896098B

    公开(公告)日:2023-05-05

    申请号:CN202210464602.7

    申请日:2022-04-29

    申请人: 重庆大学

    IPC分类号: G06F11/08 G06F11/07 G06F3/06

    摘要: 本发明公开了一种数据容错方法和分布式存储系统,其通过将文件经编码容错技术获得的多个原始数据块分发到对应的数据节点上,相比于现有的采用传统冗余机制对生成的原始数据块立即生成三副本的方法,本发明能减少文件初始上传时的网络传输压力,对数据的写放大问题有很好的优化效果;在数据节点随着文件操作过程中生成潜在副本时,向管理节点询问是否保留生成的潜在副本,并由管理节点设置的文件生命周期管理策略,对相应的潜在副本进行销毁。本发明的潜在副本随着系统的常规操作产生,只需要向管理节点询问是否保留副本资源,几乎不额外消耗网络带宽资源,从而能够在保证数据修复性能的同时,减少系统的存储开销。

    一种应用于移动应用于移动分布式存储的数据布局方法

    公开(公告)号:CN114816257A

    公开(公告)日:2022-07-29

    申请号:CN202210464336.8

    申请日:2022-04-29

    申请人: 重庆大学

    IPC分类号: G06F3/06 H04L67/1097

    摘要: 本发明公开了一种应用于移动分布式存储的数据布局方法,采用参考点群组移动对移动集群的运动状态进行建模,通过节点的运动状态感知节点间的网络带宽,同时结合节点上的参数信息对数据布局做出综合决策,选出性能良好的节点,提高数据存储成功率;采用副本和纠删码的混合容错机制,在群组间使用传输数据量少的纠删码机制,群组内在纠删码的基础上使用副本机制,动态增加数据的冗余,提高数据的可靠性。