数据存储的方法、装置、系统、设备及存储介质

    公开(公告)号:CN111399763B

    公开(公告)日:2023-05-16

    申请号:CN201911349200.7

    申请日:2019-12-24

    发明人: 叶敏 王伟 林起芊

    IPC分类号: G06F3/06

    摘要: 本申请公开了一种数据存储的方法、装置、系统、设备及存储介质,属于数据处理技术领域。所述方法包括:接收管理服务器在确定云存储系统中存在需要迁移的第一数据的情况下发送的第一迁移任务消息,第一迁移任务消息包括第二存储服务器的服务器信息和用于存储第一数据的第一存储设备的设备信息;根据服务器信息,向第二存储服务器发送第一数据获取请求,该第一数据获取请求用于指示反馈至少一个第二存储设备中需要迁移的第一数据;获取第二存储服务器发送的第一数据,将第一数据存储至设备信息指示的第一存储设备中。如此,可以在第二存储设备出现问题之前,将第二存储设备上的第一数据迁移至第一存储设备上去,可以有效降低数据丢失的可能性。

    一种数据重构方法、装置、电子设备及存储介质

    公开(公告)号:CN110658979B

    公开(公告)日:2022-03-25

    申请号:CN201810694042.8

    申请日:2018-06-29

    IPC分类号: G06F3/06 H04L67/1097

    摘要: 本发明实施例提供了一种数据重构方法、装置、电子设备及存储介质。所述方法包括:获得多个待重构数据对应的属性信息;其中,任一待重构数据对应的属性信息为丢失该待重构数据之前所记录的信息;基于所述多个待重构数据对应的属性信息,按照预设的目标排序方式,确定所述多个待重构数据对应的重构顺序;其中,所述目标排序方式为:基于重要数据优先重构的原则所设定的、关于所述属性信息的排序方式。应用本发明实施例能够优先重构重要数据,提高重要数据恢复率。

    数据存储方法、装置及存储系统

    公开(公告)号:CN111399762B

    公开(公告)日:2021-06-18

    申请号:CN201911181875.5

    申请日:2019-11-27

    发明人: 叶敏 王伟 林起芊

    IPC分类号: G06F3/06 G06F16/18 G06F16/13

    摘要: 本发明实施例提供了一种数据存储方法、装置及存储系统,其中,该方法包括:在获取到待存储数据时,确定待存储数据的数据类型;基于SMR磁盘中的各个存储区中已存储的数据的数据类型,确定与待存储数据的数据类型相同的目标存储区;在目标存储区中确定待写入待存储数据的目标存储块;基于目标存储块的标识,生成待存储数据的主索引信息以及备索引信息;基于待存储数据以及目标存储块的标识,生成待存储数据的数据库索引信息;将待存储数据的备索引信息和待存储数据写入目标存储块,将待存储数据的主索引信息写入CMR区域或非SMR磁盘,并将待存储数据的数据库索引信息写入非SMR磁盘。从而可以提高SMR磁盘的存储资源利用率。

    存储设备异常检测方法及装置、分布式存储系统

    公开(公告)号:CN110442298B

    公开(公告)日:2021-01-12

    申请号:CN201810411648.6

    申请日:2018-05-02

    IPC分类号: G06F3/06

    摘要: 本申请公开了一种存储设备异常检测方法及装置、分布式存储系统,属于存储技术领域。所述方法包括:向n个存储区域中写入n个预置文件,第一预置文件为n个预置文件中的任一预置文件,第一预置文件写入第一存储区域,第一预置文件包括:第一目标数据及其第一校验数据;在对第一存储区域的读操作成功时,生成从第一存储区域读取到的第二目标数据的第二校验数据;在第二校验数据与第三校验数据不同时,确定第一存储区域异常;在确定n个存储区域中的至少m个存储区域异常时,确定存储设备异常,1≤m≤n。本申请解决了在存储设备异常时,管理设备无法得知的问题。本申请用于存储设备异常的检测。

    一种数据删除方法、装置、电子设备及存储介质

    公开(公告)号:CN111506250A

    公开(公告)日:2020-08-07

    申请号:CN201910090746.9

    申请日:2019-01-30

    IPC分类号: G06F3/06 G06F16/22

    摘要: 本发明实施例提供了一种数据删除方法、装置电子设备及存储介质,该方法包括:获得待处理的数据区的时间索引;确定所述数据区的时间索引是否与预定时间范围存在重叠;如果存在重叠,从所述数据区中,确定写入时间在目标时间范围内的目标对象块;在所述数据区对应的主索引区中,查找所述目标对象块对应的目标区域;将所述目标区域中的主索引数据删除。本发明实施例可以解决现有技术中由于磁头的频繁移动而降低HM-SMR硬盘的存储性能的问题。

    数据管理方法及数据存储系统

    公开(公告)号:CN111400264A

    公开(公告)日:2020-07-10

    申请号:CN201911240736.5

    申请日:2019-12-06

    IPC分类号: G06F16/174 G06F16/41

    摘要: 本申请公开了数据管理方法及数据存储系统。数据存储系统,包括:资源池,用于存储多媒体信息;管理服务器,用于:在第一次确定第一多媒体信息满足预定条件时,向第一存储服务器发送对第一多媒体信息的第一次压缩指示,以便第一存储服务器按照第一次压缩指示中压缩比例,对第一多媒体信息进行压缩操作而得到压缩结果,并将多媒体信息更新为所述压缩结果;在第二次确定第一多媒体信息满足预定条件时,发送对第一多媒体信息的第二次压缩指示;在第N次确定第一多媒体信息满足预定条件时,发送对第一多媒体信息的第N次压缩指示,直到当前第一多媒体信息的数据量、与第一多媒体信息上传到第一存储服务器时的数据量的比值低于比例阈值。

    数据存储的方法、装置、系统、设备及存储介质

    公开(公告)号:CN111399763A

    公开(公告)日:2020-07-10

    申请号:CN201911349200.7

    申请日:2019-12-24

    发明人: 叶敏 王伟 林起芊

    IPC分类号: G06F3/06

    摘要: 本申请公开了一种数据存储的方法、装置、系统、设备及存储介质,属于数据处理技术领域。所述方法包括:接收管理服务器在确定云存储系统中存在需要迁移的第一数据的情况下发送的第一迁移任务消息,第一迁移任务消息包括第二存储服务器的服务器信息和用于存储第一数据的第一存储设备的设备信息;根据服务器信息,向第二存储服务器发送第一数据获取请求,该第一数据获取请求用于指示反馈至少一个第二存储设备中需要迁移的第一数据;获取第二存储服务器发送的第一数据,将第一数据存储至设备信息指示的第一存储设备中。如此,可以在第二存储设备出现问题之前,将第二存储设备上的第一数据迁移至第一存储设备上去,可以有效降低数据丢失的可能性。

    对象数据存储、数据索引构建方法、装置及接入服务器

    公开(公告)号:CN111367905A

    公开(公告)日:2020-07-03

    申请号:CN201811605066.8

    申请日:2018-12-26

    IPC分类号: G06F16/22

    摘要: 本发明实施例提供了一种对象数据存储、数据索引构建方法、装置及接入服务器,应用于接入服务器,该对象数据存储方法包括:在接收到用户终端上传的目标数据后,确定目标数据对应的关键信息,以及上传目标数据的目标用户对应的用户因子;基于接入服务器的标识信息、关键信息以及用户因子,生成目标数据对应的KEY值;生成目标数据对应的VALUE值;将KEY值和VALUE值作为对象数据上传至存储服务器,以使得存储服务器对对象数据进行存储。通过本发明实施例提供的技术方案,在某一接入服务器出现异常时,其他处于正常运行状态的服务器能够快速为通过该接入服务器上传的对象数据建立数据索引,从而可以缩短用户访问这些对象数据的等待时间。

    存储块数据删除方法、装置、电子设备及云存储系统

    公开(公告)号:CN111221468A

    公开(公告)日:2020-06-02

    申请号:CN201811419430.1

    申请日:2018-11-26

    IPC分类号: G06F3/06 H04L29/08

    摘要: 本申请实施例提供了存储块数据删除方法、装置、电子设备及云存储系统,该方法包括:获取目标时刻及各存储块的块最后写入时刻;确定块最后写入时刻小于目标时刻的目标存储块,删除目标存储块中的数据;获取各存储块中录像段的录像段最后写入时刻;判断各录像段最后写入时刻与目标时刻的大小;删除录像段最后写入时刻小于目标时刻的录像段。在本申请实施例的存储块数据删除方法中,当清理资源池存储空间时,删除录像段最后写入时刻小于目标时刻的录像段,以录像段为最小检测单位,能够增加资源池中存储空间的释放,提高存储资源有效利用率。同时可以减少同一存储块中数据的时间跨度,方便资源池的时间更新。

    一种视频文件处理方法、装置和存储节点

    公开(公告)号:CN111083573A

    公开(公告)日:2020-04-28

    申请号:CN201811230511.7

    申请日:2018-10-22

    摘要: 本申请提供一种视频文件处理方法、装置和存储节点。本申请提供的视频文件处理方法,包括:依据视频文件中同一画面组GOP中的首个I帧数据的帧信息和最后一个P帧数据的帧信息确定所述GOP的GOP索引,将所述首个I帧数据的帧信息中的时间戳确定为所述GOP索引的时间戳,将所述视频文件、所述GOP索引和所述GOP索引的时间戳存储,在接收到索引查询请求时,依据GOP索引的时间戳查询所述索引查询请求请求的目标GOP索引。本申请提供的视频文件处理方法、装置和存储节点,在对存储的视频文件进行回放时,不会造成播放结束时间周围的视频数据缺失的问题,用户体验较高。