分布式存储系统的数据分配控制方法、装置、终端及介质

    公开(公告)号:CN117762892B

    公开(公告)日:2024-08-16

    申请号:CN202311786324.8

    申请日:2023-12-22

    IPC分类号: G06F16/182

    摘要: 本发明公开了分布式存储系统的数据分配控制方法、装置、终端及介质,方法包括:获取分布式存储系统中各个归置组的数据使用信息,确定数据不平衡的归置组,并确定每一个数据不平衡的归置组的所属主机信息;基于数据使用信息,确定数据使用低谷时间段,并获取数据不平衡的归置组所对应的数据存储量;基于所属主机信息、数据使用低谷时间段以及每一个数据不平衡的归置组的数据存储量,进行数据分配,以实现分布式存储系统的数据平衡。本发明可对各个归置组的数据使用情况进行分析,并获取对应的所属主机信息,然后根据所属主机信息来分析各个数据不平衡的归置组,并根据数据存储量来进行分配,从而使得分布式存储系统数据平衡。

    文件分片存储的方法、装置、设备及存储介质

    公开(公告)号:CN117785816B

    公开(公告)日:2024-11-05

    申请号:CN202410017734.4

    申请日:2024-01-05

    摘要: 本申请公开了一种文件分片存储的方法、装置、设备及存储介质,方法包括接收数据包,并提取所述数据包的数据包信息;获取用于存储数据包的当前文件,并根据所述数据包信息和预设分片方式确定所述当前文件是否存在数据包对应的存储位置;当未存在数据包对应的存储位置时,在预设文件队列中调取一预构建文件作为当前文件,并将所述数据包存储于当前文件。本申请在文件分片存储过程中需要创建新的文件来存储数据包时,通过在预设文件队列中调取预构建文件的方式来形成新的文件,这样可以避免因创建文件所导致的抖动,并且可以提高文件存储效率。

    针对Ceph对象的写入方法、装置、设备及存储介质

    公开(公告)号:CN117762335A

    公开(公告)日:2024-03-26

    申请号:CN202311786611.9

    申请日:2023-12-22

    IPC分类号: G06F3/06

    摘要: 本申请公开了一种针对Ceph对象的写入方法、装置、设备及存储介质,方法包括当OSD接收到数据写入操作时,获取所述写入操作对应的对象数据的数据指纹,并根据所述数据指纹检测所述对象数据是否存储于分布式对象存储系统中;当所述对象数据存储于分布式对象存储系统时,为所述对象数据创建空对象;采用所述空对象替换所述对象数据,以通过所述写入操作将所述空对象写入OSD。本申请实施例在通过数据指纹在OSD中存储的存储对象查找到对象数据时,通过将对象数据转换为携带有已存储对象的数据指望的空对象形成来存储对象数据,这样一方面存储了对象数据,另一方面也减少了对象数据所占用的存储资源,提高了OSD的资源利用率。

    针对Ceph对象的写入方法、装置、设备及存储介质

    公开(公告)号:CN117762335B

    公开(公告)日:2024-09-10

    申请号:CN202311786611.9

    申请日:2023-12-22

    IPC分类号: G06F3/06

    摘要: 本申请公开了一种针对Ceph对象的写入方法、装置、设备及存储介质,方法包括当OSD接收到数据写入操作时,获取所述写入操作对应的对象数据的数据指纹,并根据所述数据指纹检测所述对象数据是否存储于分布式对象存储系统中;当所述对象数据存储于分布式对象存储系统时,为所述对象数据创建空对象;采用所述空对象替换所述对象数据,以通过所述写入操作将所述空对象写入OSD。本申请实施例在通过数据指纹在OSD中存储的存储对象查找到对象数据时,通过将对象数据转换为携带有已存储对象的数据指望的空对象形成来存储对象数据,这样一方面存储了对象数据,另一方面也减少了对象数据所占用的存储资源,提高了OSD的资源利用率。

    文件分片存储的方法、装置、设备及存储介质

    公开(公告)号:CN117785816A

    公开(公告)日:2024-03-29

    申请号:CN202410017734.4

    申请日:2024-01-05

    摘要: 本申请公开了一种文件分片存储的方法、装置、设备及存储介质,方法包括接收数据包,并提取所述数据包的数据包信息;获取用于存储数据包的当前文件,并根据所述数据包信息和预设分片方式确定所述当前文件是否存在数据包对应的存储位置;当未存在数据包对应的存储位置时,在预设文件队列中调取一预构建文件作为当前文件,并将所述数据包存储于当前文件。本申请在文件分片存储过程中需要创建新的文件来存储数据包时,通过在预设文件队列中调取预构建文件的方式来形成新的文件,这样可以避免因创建文件所导致的抖动,并且可以提高文件存储效率。

    分布式存储系统的数据分配控制方法、装置、终端及介质

    公开(公告)号:CN117762892A

    公开(公告)日:2024-03-26

    申请号:CN202311786324.8

    申请日:2023-12-22

    IPC分类号: G06F16/182

    摘要: 本发明公开了分布式存储系统的数据分配控制方法、装置、终端及介质,方法包括:获取分布式存储系统中各个归置组的数据使用信息,确定数据不平衡的归置组,并确定每一个数据不平衡的归置组的所属主机信息;基于数据使用信息,确定数据使用低谷时间段,并获取数据不平衡的归置组所对应的数据存储量;基于所属主机信息、数据使用低谷时间段以及每一个数据不平衡的归置组的数据存储量,进行数据分配,以实现分布式存储系统的数据平衡。本发明可对各个归置组的数据使用情况进行分析,并获取对应的所属主机信息,然后根据所属主机信息来分析各个数据不平衡的归置组,并根据数据存储量来进行分配,从而使得分布式存储系统数据平衡。