基于分块构造的部分重复码构造方法及故障节点修复方法

    公开(公告)号:CN110389848B

    公开(公告)日:2023-03-14

    申请号:CN201910554540.7

    申请日:2019-06-25

    申请人: 长安大学

    IPC分类号: G06F11/07 H03M13/11

    摘要: 本发明属于计算机领域,涉及一种基于分块构造的部分重复码的构造方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块,构造下三角矩阵,对编码块做分块和复制处理,在单节点故障的修复过程中极大地减少了连接存活节点数,减少了修复故障节点的修复磁盘I/O开销。此外,该部分重复码所需的校验块较少,系统的存储利用率高,且该码构造过程简单,极易推广,可操作性强。

    一种基于哈夫曼树的异构部分重复码的构造方法

    公开(公告)号:CN110032470B

    公开(公告)日:2023-02-28

    申请号:CN201910204203.5

    申请日:2019-03-18

    申请人: 长安大学

    IPC分类号: G06F11/10 G06F9/50

    摘要: 本发明公开了一种基于哈夫曼树的异构部分重复(Huffman Variable Fractional Repetition,HVFR)码的构造方法,包括以下步骤:将一定时间内的分布式系统的轨迹数据进行统计分析,分为不同访问频率的数据块;将这些不同访问频率的数据块当作哈夫曼树带有确定权值的叶子结点,根据哈夫曼算法构造哈夫曼树;再根据构造的哈夫曼树来确定不同访问频率数据块的重复度;对不同访问频率的数据块进行MDS编码,最后,利用成对平衡设计构造异构FR码。本发明的方法避免了热数据并行访问的瓶颈,达到负载均衡,同时提高系统存储效率,降低故障节点的修复局部性与修复带宽,且计算复杂度低,构造更加简单直观。

    基于完全图的异构部分重复码构造及故障节点修复方法

    公开(公告)号:CN110781163B

    公开(公告)日:2023-01-17

    申请号:CN201910930841.5

    申请日:2019-09-29

    申请人: 长安大学

    摘要: 本发明属于计算机领域,公开了一种基于完全图的异构部分重复码构造方法及故障节点修复方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块,并根据完全图的顶点、边和角的关系,构造出编码块重复度不同的异构部分重复码。在单节点故障或连续的两个节点故障修复过程中均仅从m‑2个存活节点中采集编码块,并将采集到的编码块传送给新节点,即可实现故障节点的修复。在故障节点的修复过程中,减少了连接存活节点数、修复故障节点的磁盘I/O开销和修复时间。修复单节点故障或修复任意连续两个节点故障都有多种修复方案可供选择,有效的提高了系统的可用性和可靠性。

    基于完全图的异构部分重复码构造及故障节点修复方法

    公开(公告)号:CN110781163A

    公开(公告)日:2020-02-11

    申请号:CN201910930841.5

    申请日:2019-09-29

    申请人: 长安大学

    摘要: 本发明属于计算机领域,公开了一种基于完全图的异构部分重复码构造方法及故障节点修复方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块,并根据完全图的顶点、边和角的关系,构造出编码块重复度不同的异构部分重复码。在单节点故障或连续的两个节点故障修复过程中均仅从m-2个存活节点中采集编码块,并将采集到的编码块传送给新节点,即可实现故障节点的修复。在故障节点的修复过程中,减少了连接存活节点数、修复故障节点的磁盘I/O开销和修复时间。修复单节点故障或修复任意连续两个节点故障都有多种修复方案可供选择,有效的提高了系统的可用性和可靠性。

    基于完全图的对称部分重复码构造及故障节点修复方法

    公开(公告)号:CN110781025A

    公开(公告)日:2020-02-11

    申请号:CN201910930888.1

    申请日:2019-09-29

    申请人: 长安大学

    IPC分类号: G06F11/10

    摘要: 本发明属于计算机领域,公开了一种基于完全图的对称部分重复码构造及故障节点修复方法。本方法主要是根据n阶完全图中顶点之间的对称关系,构造对称部分重复码。所构造的对称部分重复码不但能快速高效修复单故障节点或任意两个故障节点,而且在修复节点修复过程中节点的修复局部性较小。单故障节点和不连续的两个节点故障有多种修复度为2的修复方案,当两个连续节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,冗余编码块少,且该码构造过程简单,极易推广,可操作性强。

    对称部分重复码的矩阵构造方法及故障节点修复方法

    公开(公告)号:CN110781024A

    公开(公告)日:2020-02-11

    申请号:CN201910930824.1

    申请日:2019-09-29

    申请人: 长安大学

    IPC分类号: G06F11/10

    摘要: 本发明属于计算机领域,公开了一种对称部分重复码的矩阵构造方法及故障节点修复方法。对称部分重复码的矩阵构造方法主要是根据爪形矩阵s1,构造调节矩阵s2,然后将爪形矩阵s1和调节矩阵s2对应位置上的元素相加,得到对称部分重复码的关联矩阵s,进而完成对称部分重复码的矩阵构造。所构造的对称部分重复码的系统存储率高,而且在修复单故障节点有多种修复度为2的修复方案。当任意两个节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,能容两节点故障,且该码构造过程简单,极易推广,可操作性强。

    一种基于哈夫曼树的异构部分重复码的构造方法

    公开(公告)号:CN110032470A

    公开(公告)日:2019-07-19

    申请号:CN201910204203.5

    申请日:2019-03-18

    申请人: 长安大学

    IPC分类号: G06F11/10 G06F9/50

    摘要: 本发明公开了一种基于哈夫曼树的异构部分重复(Huffman Variable Fractional Repetition,HVFR)码的构造方法,包括以下步骤:将一定时间内的分布式系统的轨迹数据进行统计分析,分为不同访问频率的数据块;将这些不同访问频率的数据块当作哈夫曼树带有确定权值的叶子结点,根据哈夫曼算法构造哈夫曼树;再根据构造的哈夫曼树来确定不同访问频率数据块的重复度;对不同访问频率的数据块进行MDS编码,最后,利用成对平衡设计构造异构FR码。本发明的方法避免了热数据并行访问的瓶颈,达到负载均衡,同时提高系统存储效率,降低故障节点的修复局部性与修复带宽,且计算复杂度低,构造更加简单直观。

    对称部分重复码的矩阵构造方法及故障节点修复方法

    公开(公告)号:CN110781024B

    公开(公告)日:2023-02-28

    申请号:CN201910930824.1

    申请日:2019-09-29

    申请人: 长安大学

    IPC分类号: G06F11/10

    摘要: 本发明属于计算机领域,公开了一种对称部分重复码的矩阵构造方法及故障节点修复方法。对称部分重复码的矩阵构造方法主要是根据爪形矩阵s1,构造调节矩阵s2,然后将爪形矩阵s1和调节矩阵s2对应位置上的元素相加,得到对称部分重复码的关联矩阵s,进而完成对称部分重复码的矩阵构造。所构造的对称部分重复码的系统存储率高,而且在修复单故障节点有多种修复度为2的修复方案。当任意两个节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,能容两节点故障,且该码构造过程简单,极易推广,可操作性强。

    非均匀故障保护的分组修复码构造方法及故障修复方法

    公开(公告)号:CN109947587A

    公开(公告)日:2019-06-28

    申请号:CN201910125393.1

    申请日:2019-02-20

    申请人: 长安大学

    IPC分类号: G06F11/10 G06F11/14

    摘要: 本发明属于计算机领域,具体涉及非均匀故障保护的分组修复码构造方法及故障修复方法。分组修复码构造方法考虑到实际分布式存储系统中存在不同热度的文件,利用分组思想将整个条带分成长度依次递增的多个数据分组并在组内生成多个组编码块,并通过分组规模的选取为不同热度文件提供不同等级保护,进一步降低多故障节点的磁盘读取开销。该方法所存目标节点故障概率表征数据块故障概率并排序,为高故障概率数据节点提供更高等级保护。多节点故障修复方法在多节点故障修复时,选择先数据分组内修复后全局修复的整体修复原则,尽可能地降低了多节点修复时的磁盘读取开销。

    分布式存储系统中类局部重构码编码及节点故障修复方法

    公开(公告)号:CN108347306A

    公开(公告)日:2018-07-31

    申请号:CN201810217605.4

    申请日:2018-03-16

    申请人: 长安大学

    IPC分类号: H04L1/00 H04L12/24 H04L29/08

    摘要: 本发明公开了一种分布式存储系统中类局部重构码编码及节点故障修复方法,分析其修复特点以及分布式存储系统对节点故障修复性能的要求,在增加部分存储开销的前提下,提供了一种所述的类局部重构码进行单节点故障修复的方法。在本发明构造的类局部重构码中,包含一个有局部校验块生成的全局校验块保证数据节点的修复性能,其他校验块全部有数据块通过异或运算编码生成。基于此编码结构,在单节点故障时只需连接较少的节点实现快速恢复,保证了数据文件的快速高效恢复,降低了修复带宽开销。