一种提高纠错能力的交叉分组编译码方法

    公开(公告)号:CN107844272A

    公开(公告)日:2018-03-27

    申请号:CN201711051701.8

    申请日:2017-10-31

    发明人: 唐聃 范迪 萧枫

    IPC分类号: G06F3/06 G06F11/14 G06F11/10

    摘要: 本发明公开了一种提高纠错能力的交叉分组编译码方法,用于提高现有分布式存储系统的纠错能力。该方法是将原数据S平均分为k块并储存于k个数据节点上,将k个数据节点交叉分组,对分好组的数据节点在有限域上求得一个生成矩阵G,利用生成矩阵G求得校验块,然后将校验块并存入新的节点,当某个或部分节点失效时,利用剩余节点及校验块联立方程组解出失效节点。本发明利用交叉分组编码方法存储校验数据,它的校验节点个数可以根据用户自身的需要来设定,校验节点的个数关乎着纠错能力,所以用户可以通过衡量自身的情况来进行设定。本发明可以使得存储空间的利用率提高,空间冗余度降低,节约大量的空间,对于存储空间有限的用户来说非常实用。

    一种数据处理方法及装置
    54.
    发明公开

    公开(公告)号:CN107817950A

    公开(公告)日:2018-03-20

    申请号:CN201711042481.2

    申请日:2017-10-31

    发明人: 王彦斌 顾雷雷

    IPC分类号: G06F3/06

    摘要: 本发明提供一种数据处理方法及装置,该方法包括:当确定所述Ceph集群中存在对象存储设备OSD的已用容量达到第一容量阈值时,从所述Ceph集群的各池pool中选择目标pool;其中,所述第一容量阈值小于预设集群警戒值;向所述目标pool中的部分副本的数据所在的目标OSD发送数据删除指令,以使所述目标OSD根据所述数据删除指令删除所述部分副本的数据。应用本发明可以避免由于Ceph集群中存在OSD的已用容量达到预设集群警戒值而导致Ceph集群对外提供的存储服务受影响。

    一种存储系统及其使用的方法

    公开(公告)号:CN104881333B

    公开(公告)日:2018-03-20

    申请号:CN201410068897.1

    申请日:2014-02-27

    发明人: 方敏 陈铎 常彦德

    IPC分类号: G06F11/14

    摘要: 本发明公开了一种存储系统及其使用的方法,其中所述存储系统分别与生产主机以及备份主机通过网络连接,所述备份主机对所述生产主机执行失效备援,方法包括:响应于所述生产主机失效:从位于所述存储系统的快盘的弹性空间获得已经缓存的数据块的元数据;扩展所述弹性存储空间的存储容量;根据所述元数据以及扩展的弹性空间的存储容量,获得该元数据对应的数据块,并存储在所述扩展的弹性空间;以及响应于所述备份主机请求该元数据对应的数据块并且该数据已经存储在所述扩展的弹性空间,从所述扩展的弹性空间获得该元数据对应的数据块并发送给所述备份主机。该方法和系统能够提高存储系统失效备援的效率。

    数据迁移处理方法、装置及系统

    公开(公告)号:CN104348862B

    公开(公告)日:2018-03-16

    申请号:CN201310329438.X

    申请日:2013-07-31

    IPC分类号: H04L29/08 G06F17/30

    摘要: 本发明实施例提供一种数据迁移处理方法、装置及系统,该方法包括:迁出节点确定待迁移数据和与待迁移数据对应的数据索引;迁出节点将待迁移数据和与待迁移数据对应的数据索引迁移到迁入节点。本发明的技术方案,可以实现减少迁入节点在数据迁移过程中磁盘的I/O操作,提高分布式存储系统中数据迁移的效率,进而提高分布式存储系统的性能。

    数据存储方法、SDN控制器和分布式网络存储系统

    公开(公告)号:CN104135539B

    公开(公告)日:2018-03-16

    申请号:CN201410404901.7

    申请日:2014-08-15

    发明人: 周景才

    IPC分类号: H04L29/08

    摘要: 本发明实施例提供一种数据存储方法、SDN控制器和分布式网络存储系统,所述分布式网络存储系统的元数据管理节点和数据节点之间通过SDN交换机连接并通信,SDN交换机还与SDN控制器连接,元数据管理节点通过向SDN控制器发送目的数据节点的备份映射关系,以使SDN控制器根据目的数据节点的备份映射关系生成第一流表项并发送给SDN交换机,第一流表项中包括目的数据节点的地址和目的数据节点的备份数据节点的地址,SDN交换机根据第一流表项将客户端的根据元数据发送的写请求广播给目的数据节点和备份数据节点,由于SDN交换机以广播的方法将写请求同时广播给目的数据节点和备份数据节点,从而减少了将待写数据从目的数据节点存储到备份数据节点时的I/O时延。