提升分布式存储集群中LRC码修复性能的方法、装置及系统

    公开(公告)号:CN110347526A

    公开(公告)日:2019-10-18

    申请号:CN201910570969.5

    申请日:2019-06-28

    IPC分类号: G06F11/07

    摘要: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。

    提升基于局部修复编码的存储系统可靠性的方法及装置

    公开(公告)号:CN110231999A

    公开(公告)日:2019-09-13

    申请号:CN201910454764.0

    申请日:2019-05-29

    IPC分类号: G06F11/00 G06F11/07

    摘要: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。

    一种基于分片的MBR的并行读方法

    公开(公告)号:CN110427156B

    公开(公告)日:2020-09-08

    申请号:CN201910639534.1

    申请日:2019-07-16

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。

    提高分布式固态盘键值缓存系统可靠性的方法及系统

    公开(公告)号:CN110442535A

    公开(公告)日:2019-11-12

    申请号:CN201910655375.4

    申请日:2019-07-19

    IPC分类号: G06F12/0893 G06F12/0842

    摘要: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。

    一种基于分片的MBR的并行读方法

    公开(公告)号:CN110427156A

    公开(公告)日:2019-11-08

    申请号:CN201910639534.1

    申请日:2019-07-16

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。

    提高分布式固态盘键值缓存系统可靠性的方法及系统

    公开(公告)号:CN110442535B

    公开(公告)日:2021-06-11

    申请号:CN201910655375.4

    申请日:2019-07-19

    IPC分类号: G06F12/0893 G06F12/0842

    摘要: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。

    提升分布式存储集群中LRC码修复性能的方法、装置及系统

    公开(公告)号:CN110347526B

    公开(公告)日:2020-12-18

    申请号:CN201910570969.5

    申请日:2019-06-28

    IPC分类号: G06F11/07

    摘要: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。

    提升基于局部修复编码的存储系统可靠性的方法及装置

    公开(公告)号:CN110231999B

    公开(公告)日:2020-05-19

    申请号:CN201910454764.0

    申请日:2019-05-29

    IPC分类号: G06F11/00 G06F11/07

    摘要: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。

    位线-存储结点解耦的位线感测放大器、存算一体内存储器以及原位矩阵计算方法

    公开(公告)号:CN118748031A

    公开(公告)日:2024-10-08

    申请号:CN202410814184.9

    申请日:2024-06-24

    IPC分类号: G11C13/00

    摘要: 本发明公开了位线‑存储结点解耦的位线感测放大器、存算一体内存储器微架构以及原位矩阵计算方法,属于存算一体领域,包括:提出了一种包括锁存器、均衡器和失衡器的感测放大器,实现ReRAM位线和存储结点的完全解耦,并基于该感测放大器提出一种级联反馈的位线感测架构,在单行周期时间内使能了预充电一次、读出多个比特的功能,进一步提出了以感测放大器为中心的跨级交错机制,用于连续的列VMM访问,通过利用相邻子阵列之间的开放位线拓扑布局,来提高底层硬件资源利用率。本发明提出的子阵列VMM感测机制和内存级并行化执行机制可以显著提高现代受限于内存的科学并行计算的整体模组性能和执行效率。

    一种面向时间敏感网络的数据传输方法、通信设备及系统

    公开(公告)号:CN118631750A

    公开(公告)日:2024-09-10

    申请号:CN202410755207.3

    申请日:2024-06-12

    IPC分类号: H04L47/283 H04L47/30

    摘要: 本申请属于通信领域,具体公开了一种面向时间敏感网络的数据传输方法、通信设备及系统,该方法包括:基于源数据、第一编码参数k和第二编码参数m,获取k个数据帧、k‑m个副本数据帧和m个编码帧,k个数据帧是对所述源数据进行按帧拆分所获取的,k‑m个副本数据帧是从k个数据帧中选中k‑m个进行拷贝所获取的,m个编码帧是通过对k个数据帧中未被选中的m个进行循环异或编码获取的,1