一种数据迁移方法、装置和计算机可读存储介质

    公开(公告)号:CN111142788B

    公开(公告)日:2021-10-15

    申请号:CN201911204966.6

    申请日:2019-11-29

    Abstract: 本申请提供一种数据迁移方法,包括:获取目标迁移文件;根据当前系统空闲IO的属性与预设的每个文件迁移任务需要的迁移IO,确定并发迁移的迁移个数;根据迁移个数向客户端发送目标迁移文件的迁移任务,以便客户端根据迁移任务对目标迁移文件进行并发迁移;其中,当前系统空闲IO为系统最大IO中去除用户实际占用IO和预留IO后的IO。本申请通过设置预留IO供用户缓冲使用,快速清理快速池提升存储系统整体性能的同时,不影响用户使用;通过利用当前系统空闲IO的属性确定并发迁移的迁移个数,自适应的调整并发迁移的迁移个数,提高数据迁移效率。本申请同时还提供的数据迁移装置、电子设备和计算机可读存储介质,均具有上述有益效果。

    一种测试方法、装置、设备及介质

    公开(公告)号:CN111104320A

    公开(公告)日:2020-05-05

    申请号:CN201911287933.2

    申请日:2019-12-15

    Abstract: 本申请公开了一种测试方法、装置、设备及介质,包括:获取多个从节点的测试状态信息;其中,所述测试状态信息包括所述从节点的CPU占用率、当前测试用例的预估完成时间;利用所述测试状态信息为多个所述从节点确定出对应的目标测试用例;将确定出的所述目标测试用例下发至对应的所述从节点,以便对应的所述从节点利用所述目标测试用例进行程序测试。这样,利用多个从节点的测试状态信息为多个从节点分配对应的测试用例,然后由多个从节点进行相应的程序测试,能够提升分布式系统的资源利用率,从而提升程序测试的效率。

    一种分布式文件系统的小文件聚合方法、装置及设备

    公开(公告)号:CN111090633A

    公开(公告)日:2020-05-01

    申请号:CN201911292216.9

    申请日:2019-12-13

    Abstract: 本发明公开了一种分布式文件系统的小文件聚合方法,通过在分布式文件系统中预先创建n个空闲聚合大文件,在对分布式文件系统中的小文件进行聚合时,调用空闲聚合大文件以满足小文件的聚合需求,从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动,进而提高了分布式文件系统的稳定性。本发明还公开了一种分布式文件系统的小文件聚合装置、设备及计算机可读存储介质,具有上述有益效果。

    一种数据迁移方法、装置和计算机可读存储介质

    公开(公告)号:CN111142788A

    公开(公告)日:2020-05-12

    申请号:CN201911204966.6

    申请日:2019-11-29

    Abstract: 本申请提供一种数据迁移方法,包括:获取目标迁移文件;根据当前系统空闲IO的属性与预设的每个文件迁移任务需要的迁移IO,确定并发迁移的迁移个数;根据迁移个数向客户端发送目标迁移文件的迁移任务,以便客户端根据迁移任务对目标迁移文件进行并发迁移;其中,当前系统空闲IO为系统最大IO中去除用户实际占用IO和预留IO后的IO。本申请通过设置预留IO供用户缓冲使用,快速清理快速池提升存储系统整体性能的同时,不影响用户使用;通过利用当前系统空闲IO的属性确定并发迁移的迁移个数,自适应的调整并发迁移的迁移个数,提高数据迁移效率。本申请同时还提供的数据迁移装置、电子设备和计算机可读存储介质,均具有上述有益效果。

    一种分布式文件系统的数据拷贝方法、系统及相关组件

    公开(公告)号:CN111143126A

    公开(公告)日:2020-05-12

    申请号:CN201911330447.4

    申请日:2019-12-20

    Abstract: 本申请公开了一种分布式文件系统的数据拷贝方法,所述方法包括接收客户端发送的拷贝请求,确定所述拷贝请求对应的目标数据结构;生成所述目标数据结构的元数据,并将所述目标数据结构的元数据与所述分布式文件系统中源文件的元数据进行关联,得到关联关系;根据所述客户端发送的数据修改指令修改所述源文件,并根据所述关联关系对所述客户端中的所述目标数据结构执行写时拷贝操作。本申请能够提高数据拷贝效率。本申请还公开了一种分布式文件系统的数据拷贝系统、一种电子设备及一种存储介质,具有以上有益效果。

    存算分离方法、系统、设备及介质

    公开(公告)号:CN116069753A

    公开(公告)日:2023-05-05

    申请号:CN202310201755.7

    申请日:2023-03-06

    Abstract: 本申请公开了存算分离方法、系统、设备及介质,包括:获取原生HDFS客户端发送的文件请求;所述原生HDFS客户端为计算平台中的HDFS客户端;基于HDFS原生协议解析所述文件请求,并将解析后的文件请求发送至分布式文件系统,以便所述分布式文件系统处理所述文件请求,并返回相应的处理结果;将所述处理结果返回给所述原生HDFS客户端。这样,兼容HDFS原生协议,在大数据存储服务中实现HDFS原生协议进行文件请求处理,替换Hadoop大数据生态中计算平台的本地HDFS,支持存算分离,能够降低部署复杂度,无需在计算平台安装插件,提升系统可维护性。

    安全认证方法、系统、电子设备、分布式存储系统及介质

    公开(公告)号:CN115913793A

    公开(公告)日:2023-04-04

    申请号:CN202310220803.7

    申请日:2023-03-09

    Abstract: 本发明公开了一种安全认证方法、系统、电子设备、分布式存储系统及介质,涉及安全认证领域,该安全认证方法包括:获取客户端请求的服务地址和第一映射关系;第一映射关系为虚拟IP与租户认证用户的映射关系;根据服务地址和第一映射关系确定租户认证用户信息;基于租户认证用户信息进行安全认证,在安全认证成功后客户端和服务端建立连接。本发明能够实现单名称节点同时对接多个Kerberos服务以及支持单独开启部分租户的Kerberos安全认证,在多租户场景下能够适应不同大数据平台的不同安全认证需求。

Patent Agency Ranking