一种数据读取方法、装置、设备及存储介质

    公开(公告)号:CN111104256A

    公开(公告)日:2020-05-05

    申请号:CN201911208747.5

    申请日:2019-11-30

    Inventor: 孔帅 李杰

    Abstract: 本申请公开了一种数据读取方法,该方法包括以下步骤:从存储系统的主副本中读取目标数据;如果读取成功,则将读取到的目标数据返回给上层应用,以使上层应用输出目标数据;如果读取失败,则依次从存储系统的各个从副本中读取目标数据,直至在第一从副本中成功读取到目标数据,执行将读取到的目标数据返回给上层应用的步骤。应用本申请实施例所提供的技术方案,在存储系统对底层数据进行冗余备份存储,在进行数据读取时从各副本中进行数据读取,读取成功的可能性增大,可以保证视频播放的稳定性和流畅性。本申请还公开了一种数据读取装置、设备及存储介质,具有相应技术效果。

    一种通信方法及相关组件

    公开(公告)号:CN114710515A

    公开(公告)日:2022-07-05

    申请号:CN202210627358.1

    申请日:2022-06-06

    Inventor: 张凯 李杰 张在贵

    Abstract: 本申请公开了一种通信方法及相关组件,应用于通信领域。该方案中,首先建立了两个网络栈,然后对客户端与每个服务器节点之间及任意两个服务器节点的进程之间的全部连接关系进行划分,得到两种连接关系。其中,两种连接关系是分别基于两个网络栈构建的,且两种连接关系中的一个的个数与QP的数量相关。因此,相比于现有技术中的方案而言,本申请通过使用两个网络栈实现客户端与每个服务器节点之间及任意两个服务器节点的进程之间的通信,对于整个分布式存储系统而言,可以在一定程度上减少QP的数量,进而可以提高分布式存储系统的性能及通信效率。

    一种本地对象的管理方法、装置、设备及介质

    公开(公告)号:CN111176571A

    公开(公告)日:2020-05-19

    申请号:CN201911379286.8

    申请日:2019-12-27

    Inventor: 孔帅 李杰

    Abstract: 本发明公开了一种本地对象的管理方法,包括:创建用于记录各聚合文件的属性信息及聚合文件上无效数据的位置信息的无效数据链表;判断是否接收到用于写入目标数据的写入指令;如果是,根据无效数据链表中记录的位置信息,将需要写入的目标数据写入至目标无效数据对应的目标无效数据段以覆盖目标无效数据。由此可见,本发明能够及时地复用聚合文件的数据段进行存储,避免了转移有效数据的过程中会使磁盘产生大量的读写操作,减轻了对前端业务的实际读写操作的影响;实现存储空间的快速释放的同时,避免给磁盘带来额外的负载。此外,本发明所提供的一种本地对象的管理装置、设备及存储介质与上述方法对应。

    IO数据处理方法、装置、设备及介质

    公开(公告)号:CN116048424A

    公开(公告)日:2023-05-02

    申请号:CN202310208165.7

    申请日:2023-03-07

    Inventor: 李杰 张在贵

    Abstract: 本申请公开了IO数据处理方法、装置、设备及介质,应用于分布式存储技术领域,包括:基于预设分类标准对IO数据块进行分类;若IO数据块的大小达到预设分类标准,则将IO数据块分类为大IO数据块,并向各数据存储设备服务发送控制消息,以便各数据存储设备服务将大IO数据块拉取至本地的保电内存;各数据存储设备服务包括主从数据存储设备服务;获取主数据存储设备服务返回的写入成功信息;写入成功信息为主数据存储设备服务自身拉取成功,并接收到从数据存储设备服务发送的拉取成功信息后直接返回;各数据存储设备服务异步对大IO数据块进行落盘操作。能够降低大数据块写流程中的延时,从而提升大数据块和小数据块混合场景下的性能。

    一种基于fuse的访问对象存储集群的客户端的实现方法

    公开(公告)号:CN104301442A

    公开(公告)日:2015-01-21

    申请号:CN201410650458.1

    申请日:2014-11-17

    Inventor: 李杰 程瑶

    CPC classification number: H04L67/1097 G06F9/545 H04L67/2842

    Abstract: 本发明公开了一种基于fuse的访问对象存储集群的客户端的实现方法,其具体实现过程为:客户端通过linux提供的fuse内核挂载,在客户端挂载的目录下对远端分布式对象存储系统进行访问,上述客户端分为内核模块和用户态守护进程模块两部分,其中内核模块以fuse为基础,处理用户在挂载目录下的操作形成的系统调用;用户态守护进程负责接收内核递交的系统调用请求,同时处理请求,并将请求返回给系统调用。该一种基于fuse的访问对象存储集群的客户端的实现方法与现有技术相比,极大的提高生产效率,提高集群的高可用性,实用性较强,能够节省人力,适用范围广泛,易于推广。

    IO数据处理方法、装置、设备及介质

    公开(公告)号:CN116048424B

    公开(公告)日:2023-06-06

    申请号:CN202310208165.7

    申请日:2023-03-07

    Inventor: 李杰 张在贵

    Abstract: 本申请公开了IO数据处理方法、装置、设备及介质,应用于分布式存储技术领域,包括:基于预设分类标准对IO数据块进行分类;若IO数据块的大小达到预设分类标准,则将IO数据块分类为大IO数据块,并向各数据存储设备服务发送控制消息,以便各数据存储设备服务将大IO数据块拉取至本地的保电内存;各数据存储设备服务包括主从数据存储设备服务;获取主数据存储设备服务返回的写入成功信息;写入成功信息为主数据存储设备服务自身拉取成功,并接收到从数据存储设备服务发送的拉取成功信息后直接返回;各数据存储设备服务异步对大IO数据块进行落盘操作。能够降低大数据块写流程中的延时,从而提升大数据块和小数据块混合场景下的性能。

    一种小文件的目录读取方法、系统、电子设备及存储介质

    公开(公告)号:CN110765086B

    公开(公告)日:2022-08-02

    申请号:CN201911026031.3

    申请日:2019-10-25

    Inventor: 罗浩 李杰

    Abstract: 本申请公开了一种小文件的目录读取方法,所述目录读取方法包括向分布式文件系统的多个元数据服务器发送第一目录预读指令,以便每一所述元数据服务器将任意数量个目录分片传输至客户端缓存;其中,所述目录分片通过将所有小文件的总目录进行分片处理得到;接收到目录读取指令,并根据所述目录读取指令读取所述客户端缓存中的目录分片;确定当前读取的目录分片,并向所述当前读取的目录分片所在的元数据服务器发送第二目录预读指令,以便将未传输至所述客户端缓存的目录分片传输至所述客户端缓存。本申请能够提高小文件目录的读取速率。本申请还公开了一种小文件的目录读取系统、一种电子设备及一种存储介质,具有以上有益效果。

    分布式存储系统写操作的控制方法、控制装置、控制设备

    公开(公告)号:CN111142795A

    公开(公告)日:2020-05-12

    申请号:CN201911328679.6

    申请日:2019-12-20

    Inventor: 孔帅 李杰

    Abstract: 本发明公开了一种分布式存储系统写操作的控制方法,在分布式存储系统的服务端中,通过在接收到客户端发送的数据后,将数据写入预设的缓存后,即向客户端返回写入成功的响应,从而对客户端而言完成了一次写操作,无需等待将数据分发至各OSD以及各OSD完成数据的备份、落盘等操作的执行,从而解决了分布式存储系统因写操作IO路径长导致的写操作时延高的问题,优化了分布式存储系统的写操作流程。本发明还公开了一种分布式存储系统写操作的控制装置、控制设备及计算机可读存储介质,具有上述有益效果。

    一种数据读取方法、装置、设备及存储介质

    公开(公告)号:CN111026580A

    公开(公告)日:2020-04-17

    申请号:CN201911204918.7

    申请日:2019-11-29

    Inventor: 孔帅 李杰

    Abstract: 本申请公开了一种数据读取方法,该方法包括以下步骤:在要读取目标数据时,先选择目标数据对应的K个数据块,构成数据块集合;读取数据块集合中的每个数据块;如果K个数据块均读取成功,则还原目标数据返回给上层应用,以使上层应用输出目标数据;如果有数据块未被成功读取,则在数据块集合中剔除未被成功读取的数据块,从未被选择过的数据块中选择数据块加入到数据块集合中,重复执行读取数据块集合中的每个数据块的步骤,直至目标数据对应的K+M个数据块均被选择过。应用本申请实施例所提供的技术方案,读取成功的可能性增大,可以保证视频播放的稳定性和流畅性。本申请还公开了一种数据读取装置、设备及存储介质,具有相应技术效果。

    一种小文件的目录读取方法、系统、电子设备及存储介质

    公开(公告)号:CN110765086A

    公开(公告)日:2020-02-07

    申请号:CN201911026031.3

    申请日:2019-10-25

    Inventor: 罗浩 李杰

    Abstract: 本申请公开了一种小文件的目录读取方法,所述目录读取方法包括向分布式文件系统的多个元数据服务器发送第一目录预读指令,以便每一所述元数据服务器将任意数量个目录分片传输至客户端缓存;其中,所述目录分片通过将所有小文件的总目录进行分片处理得到;接收到目录读取指令,并根据所述目录读取指令读取所述客户端缓存中的目录分片;确定当前读取的目录分片,并向所述当前读取的目录分片所在的元数据服务器发送第二目录预读指令,以便将未传输至所述客户端缓存的目录分片传输至所述客户端缓存。本申请能够提高小文件目录的读取速率。本申请还公开了一种小文件的目录读取系统、一种电子设备及一种存储介质,具有以上有益效果。

Patent Agency Ranking