一种基于删除队列的分布式数据删除方法、装置及设备

    公开(公告)号:CN111625506A

    公开(公告)日:2020-09-04

    申请号:CN202010471507.0

    申请日:2020-05-29

    Inventor: 刘洪栋 肖国栋

    Abstract: 本申请公开了一种基于删除队列的分布式数据删除方法,包括:根据待删除文件对象生成删除信息项;将删除信息项追加至删除队列;将删除队列以日志文件的形式进行落盘,并在落盘完成后向业务层发送删除完成的消息;根据落盘后的删除队列,执行异步删除操作。可见,该方法引入删除队列,采用日志文件方式记录删除队列,实现异步删除操作,避免大数据计算场景下中间结果的删除任务对计算过程的影响,提升分布式集群的计算性能。此外,本申请还提供了一种基于删除队列的分布式数据删除装置、设备及可读存储介质,其技术效果与上述方法的技术效果相对应。

    一种元数据保护方法、装置及电子设备和存储介质

    公开(公告)号:CN111159786A

    公开(公告)日:2020-05-15

    申请号:CN201911386463.5

    申请日:2019-12-29

    Inventor: 肖国栋 孟祥瑞

    Abstract: 本申请公开了一种元数据保护方法、装置及一种电子设备和计算机可读存储介质,该方法包括:接收目标元数据服务进程的服务请求;其中,服务请求至少包括目标元数据服务进程存储的白名单版本号;将服务请求对应的白名单版本号确定为第一版本号,将存储系统存储的白名单的版本号确定为第二版本号;其中,白名单存储存储系统对应的归属元数据服务进程,存储系统存储的白名单的版本号在归属元数据服务进程切换时进行更新;判断第一版本号与第二版本号是否一致;若是,则当目标元数据服务进程在白名单中时,执行服务请求对应的操作。由此可见,本申请提供的元数据保护方法,使用带版本号的白名单,避免脑裂造成的数据损坏。

    存算分离方法、系统、设备及介质

    公开(公告)号:CN116069753A

    公开(公告)日:2023-05-05

    申请号:CN202310201755.7

    申请日:2023-03-06

    Abstract: 本申请公开了存算分离方法、系统、设备及介质,包括:获取原生HDFS客户端发送的文件请求;所述原生HDFS客户端为计算平台中的HDFS客户端;基于HDFS原生协议解析所述文件请求,并将解析后的文件请求发送至分布式文件系统,以便所述分布式文件系统处理所述文件请求,并返回相应的处理结果;将所述处理结果返回给所述原生HDFS客户端。这样,兼容HDFS原生协议,在大数据存储服务中实现HDFS原生协议进行文件请求处理,替换Hadoop大数据生态中计算平台的本地HDFS,支持存算分离,能够降低部署复杂度,无需在计算平台安装插件,提升系统可维护性。

    一种文件系统任务调度方法、装置、设备及可读存储介质

    公开(公告)号:CN110781145B

    公开(公告)日:2022-04-22

    申请号:CN201911025105.1

    申请日:2019-10-25

    Inventor: 肖国栋 张立强

    Abstract: 本发明公开了一种文件系统任务调度方法,包括:判断总队列中待处理任务的数量是否小于第一阈值;若待处理任务的数量小于第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;若前台任务的数量小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾;其中,任务队列包括前台任务队列和多个后台任务队列;若前台任务的数量不小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾;该方法实现了根据前台任务的积压程度灵活分配计算资源的功能;本发明还提供了一种文件系统任务调度装置、设备及计算机可读存储介质,同样具有上述有益效果。

    一种文件系统任务调度方法、装置、设备及可读存储介质

    公开(公告)号:CN110781145A

    公开(公告)日:2020-02-11

    申请号:CN201911025105.1

    申请日:2019-10-25

    Inventor: 肖国栋 张立强

    Abstract: 本发明公开了一种文件系统任务调度方法,包括:判断总队列中待处理任务的数量是否小于第一阈值;若待处理任务的数量小于第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;若前台任务的数量小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾;其中,任务队列包括前台任务队列和多个后台任务队列;若前台任务的数量不小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾;该方法实现了根据前台任务的积压程度灵活分配计算资源的功能;本发明还提供了一种文件系统任务调度装置、设备及计算机可读存储介质,同样具有上述有益效果。

    一种存储系统有效容量的估算方法、系统及相关组件

    公开(公告)号:CN109634525A

    公开(公告)日:2019-04-16

    申请号:CN201811504790.1

    申请日:2018-12-10

    Inventor: 肖国栋

    CPC classification number: G06F3/0689

    Abstract: 本申请公开了一种存储系统有效容量的估算方法,所述估算方法包括获取当前周期内所有IO写操作对应的总硬盘裸容量,根据所述总硬盘裸容量计算当前硬盘利用率;根据所述当前硬盘利用率计算目标周期的预期硬盘利用率;获取存储系统的已用有效容量和系统剩余裸容量;根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。本方法能够实现存储系统有效容量的精准估算。本申请还公开了一种存储系统有效容量的估算系统、一种计算机可读存储介质及一种电子设备,具有以上有益效果。

    一种元数据保护方法、装置及电子设备和存储介质

    公开(公告)号:CN111159786B

    公开(公告)日:2022-04-22

    申请号:CN201911386463.5

    申请日:2019-12-29

    Inventor: 肖国栋 孟祥瑞

    Abstract: 本申请公开了一种元数据保护方法、装置及一种电子设备和计算机可读存储介质,该方法包括:接收目标元数据服务进程的服务请求;其中,服务请求至少包括目标元数据服务进程存储的白名单版本号;将服务请求对应的白名单版本号确定为第一版本号,将存储系统存储的白名单的版本号确定为第二版本号;其中,白名单存储存储系统对应的归属元数据服务进程,存储系统存储的白名单的版本号在归属元数据服务进程切换时进行更新;判断第一版本号与第二版本号是否一致;若是,则当目标元数据服务进程在白名单中时,执行服务请求对应的操作。由此可见,本申请提供的元数据保护方法,使用带版本号的白名单,避免脑裂造成的数据损坏。

    一种存储系统有效容量的估算方法、系统及相关组件

    公开(公告)号:CN109634525B

    公开(公告)日:2022-03-08

    申请号:CN201811504790.1

    申请日:2018-12-10

    Inventor: 肖国栋

    Abstract: 本申请公开了一种存储系统有效容量的估算方法,所述估算方法包括获取当前周期内所有IO写操作对应的总硬盘裸容量,根据所述总硬盘裸容量计算当前硬盘利用率;根据所述当前硬盘利用率计算目标周期的预期硬盘利用率;获取存储系统的已用有效容量和系统剩余裸容量;根据所述已用有效容量、所述系统剩余裸容量和所述预期硬盘利用率得到所述存储系统的预期总有效容量。本方法能够实现存储系统有效容量的精准估算。本申请还公开了一种存储系统有效容量的估算系统、一种计算机可读存储介质及一种电子设备,具有以上有益效果。

Patent Agency Ranking