对象重删方法、装置、电子设备及机器可读存储介质

    公开(公告)号:CN112286457B

    公开(公告)日:2022-08-26

    申请号:CN202011176236.2

    申请日:2020-10-28

    IPC分类号: G06F3/06

    摘要: 本申请提供一种对象重删方法、装置、电子设备及机器可读存储介质。在本申请中,基于与目标数据对应的目标对象的特征元数据的指纹先做一次重复数据检测,由此可以快速检测出对象存储系统中是否存在与目标数据重复的数据,减少了对象存储系统的数据计算量,极大地提高了重删效率。

    一种对象存储的方法和装置

    公开(公告)号:CN109254729A

    公开(公告)日:2019-01-22

    申请号:CN201810973422.5

    申请日:2018-08-24

    发明人: 柯丹丹 沈泽宇

    IPC分类号: G06F3/06

    摘要: 本申请提供一种对象存储的方法和装置,包括:根据所述分布式存储系统支持的最大存储节点数量L确定虚拟节点数量M;利用M个虚拟节点生成哈希环,所述哈希环被分成M个位置,M个位置与M个虚拟节点一一对应;针对所述分布式存储系统已有的每一存储节点,从所述M个虚拟节点中确定该存储节点对应的虚拟节点;在存储对象时,确定所述对象在所述哈希环上的目标位置,依据所述目标位置对应的虚拟节点将所述对象存储在对应的存储节点。解决了哈希环倾斜,使得每个存储节点负载均衡,同时降低了运算成本。

    一种数据保护存储方法、装置及设备

    公开(公告)号:CN113590042B

    公开(公告)日:2024-03-19

    申请号:CN202110863883.9

    申请日:2021-07-29

    IPC分类号: G06F3/06

    摘要: 本申请提供一种数据保护存储方法、装置及设备,该方法依据已确定的对待存储数据划分的数据块数量N和校验块数量M确定的存储节点数量K,确定出PN的数量,建立映射表,以将PN映射于K个存储节点对应的存储介质中,在存储数据时,利用待存储数据对应的桶名和对象名确定出目标PN,并依据目标PN与存储介质的映射关系,以对该待存储数据进行存储。可见,该方法存储待存储数据所需要的存储节点数量只要为N与M的比值向上取整后与1之和,便可支持任意M个存储介质故障而不影响对象数据读写,而这远远小于现有技术中所需存储节点数至少为N与M之和,可见,应用本实施例提供的技术方案能够减少存储节点数量,降低成本。

    一种对象存储系统、对象数据的读写方法、介质及设备

    公开(公告)号:CN116069563A

    公开(公告)日:2023-05-05

    申请号:CN202211542801.1

    申请日:2022-12-02

    发明人: 柯丹丹

    IPC分类号: G06F11/20

    摘要: 本申请提供一种对象存储系统、对象数据的读写方法、计算机可读存储介质及计算机设备,具体地,对象存储系统包括业务读写层、虚拟层和存储池,存储池包含若干个存储节点,存储节点包含若干个存储介质;存储池被划分为若干个子存储池,存储介质被分配到其中一个子存储池;子存储池配置有冗余策略,子存储池对应的存储节点和包含的存储介质的数量适配于冗余策略;业务读写层,用于发送读指令或写指令,读指令或写指令携带有对象数据的ID信息;虚拟层,用于在接收到写指令后,ID信息确定出存储位置索引,将对象数据写入存储位置索引指向的目标子存储池;在接收到读指令后,根据ID信息以及存储位置索引查找获取对象数据,并发送给业务读写层。

    对象访问方法、装置、电子设备及机器可读存储介质

    公开(公告)号:CN112040023B

    公开(公告)日:2022-07-29

    申请号:CN202010871080.3

    申请日:2020-08-26

    发明人: 柯丹丹

    摘要: 本申请提供一种对象访问方法、装置、电子设备及机器可读存储介质。在本申请中,一方面,由于对象客户端可以在域名访问时直接获取目标对象节点的节点IP地址以及执行读写数据完成对象访问,从而提升了对象访问的性能;另一方面,由于避免了对象节点间经后端网络进行读写数据转发,降低了对象存储系统的系统负载及网络负载,提高了对象存储系统性能。

    一种数据保护存储方法、装置及设备

    公开(公告)号:CN113590041A

    公开(公告)日:2021-11-02

    申请号:CN202110863034.3

    申请日:2021-07-29

    IPC分类号: G06F3/06

    摘要: 本申请提供一种数据保护存储方法、装置及设备,该方法依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M,确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P,K大于或等于N与M之和,并按照均匀分布存储数据的原则建立存储介质之间映射关系的映射表,以将PN映射于K个存储节点对应的存储介质中,在存储数据时,利用待存储数据对应的桶名和对象名,确定出用于存储该待存储数据的目标PN以及目标PS,并依据目标PN与存储介质的映射关系,对该待存储数据对应存储在目标PS上各PN对应的存储介质。可见,本申请实施例能够解决现有技术不支持单个存储节点故障或失效问题,从而能够提高存储数据的安全性。

    一种对象存储系统、对象数据的读写方法、介质及设备

    公开(公告)号:CN115934430A

    公开(公告)日:2023-04-07

    申请号:CN202211543308.1

    申请日:2022-12-02

    发明人: 柯丹丹

    IPC分类号: G06F11/20

    摘要: 本申请提供一种对象存储系统、对象数据的读写方法、介质及设备;对象存储系统包括业务读写层、虚拟层和存储池,存储池包含若干个存储节点,存储节点包含若干个存储介质;存储池被划分为若干个子存储池,存储介质被分配到其中一个子存储池;子存储池配置有冗余策略,子存储池对应的存储节点和包含的存储介质的数量适配于冗余策略;业务读写层,用于发送读指令或写指令,读指令或写指令携带有对象数据的ID信息;虚拟层,用于在接收到写指令后,基于ID信息将待写入的对象数据写入目标子存储池;在接收到读指令后,根据读指令中的ID信息查找获取对象数据,并发送给业务读写层;存储池被划分为若干个子存储池,将故障域缩小至子存储池的大小。

    对象访问方法、装置、电子设备及机器可读存储介质

    公开(公告)号:CN112286448B

    公开(公告)日:2022-10-14

    申请号:CN202011111230.7

    申请日:2020-10-16

    IPC分类号: G06F3/06

    摘要: 本申请提供一种对象访问方法、装置、电子设备及机器可读存储介质。在本申请中,基于接收对象客户端发送的对象拷贝请求及响应于对象拷贝请求生成与目标对象对应的第一对象元数据;以及,响应于对象客户端对目标对象的对象获取请求,获取第一对象元数据指示的源对象的对象数据,并将获取的源对象的对象数据作为目标对象的对象数据返回至对象客户端。在对象拷贝过程中,由于减少了对象存储系统从保存对象数据的存储空间中先读取源对象再将源对象写回至存储空间中的读写操作,因此,一方面节约了对象存储系统的存储空间,另一方面降低了对象存储系统的系统负载及网络负载,提高了对象存储系统性能。

    对象元数据存储方法及装置
    9.
    发明公开

    公开(公告)号:CN114328420A

    公开(公告)日:2022-04-12

    申请号:CN202111653518.1

    申请日:2021-12-30

    发明人: 柯丹丹

    IPC分类号: G06F16/172 G06F16/188

    摘要: 本申请提供一种对象元数据存储方法及装置,应用于对象存储系统包括的存储节点。该方法包括:确定待存储至目标桶的目标对象元数据所属目标分组,其中,所述目标桶包括用于存储对象元数据的N个分组,每一个分组分别对应不同存储介质上的存储空间;将所述目标对象元数据存储至所述目标分组对应的存储空间。本申请中,同一桶中的对象元数据可跨存储介质存储,不再受限于单个存储介质的存储容量,因此,可提升单桶的对象元数据存储量。

    存储节点在线升级方法、装置、系统及存储介质

    公开(公告)号:CN114138192A

    公开(公告)日:2022-03-04

    申请号:CN202111395328.4

    申请日:2021-11-23

    发明人: 柯丹丹

    IPC分类号: G06F3/06 G06F11/10 G06F11/14

    摘要: 本申请提供一种存储节点在线升级方法、装置、系统及存储介质,所述方法包括:确定存储池支持的最大故障存储节点数,所述存储池包括至少一个存储节点;对所述存储节点进行批量升级并记录升级过程中的相关信息,其中,每批升级的所述存储节点数不超过所述最大故障节点数,所述相关信息包括进行批量升级的所述存储节点的关联信息,以及升级过程中未完全写入的数据的索引信息;根据所述相关信息对已升级的所述存储节点进行数据恢复。一方面,可以使数个存储节点同时进行升级,缩短了升级所有存储节点所需的时间;另一方面,在进行数据恢复时利用记录的相关信息有针对性的进行数据恢复,避免了遍历所有存储节点,进一步缩短了升级时间,降低了风险。