公开(公告)号：CN114385090A

公开(公告)日：2022-04-22

申请号：CN202210288864.2

申请日：2022-03-23

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 李俊龙 ,  陈坚

IPC: G06F3/06

Abstract: 本发明公开了一种基于对象存储站点同步机制的数据自动处理方法及装置，该方法包括如下步骤：S1、将处理参数和过程配置预配置为策略；S2、在上传对象时，自定义请求头携带策略id，业务RGW将策略记录在bilog和metadata中；S3、利用站点同步机制，在全量同步的时候通过metadata获取策略id，在增量同步的时候通过bilog获取策略id，并连同对象信息，生成处理请求，发往消息队列；S4、处理服务从存储拉取对象，根据策略进行处理。本发明利用ceph多站点数据同步功能，将数据分发到不同的处理服务，实现异步的数据处理功能，不需要依赖额外的组件实现数据转发，不影响存储基础功能使用。

公开(公告)号：CN114116285A

公开(公告)日：2022-03-01

申请号：CN202111387406.6

申请日：2021-11-22

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  陈远润 ,  文刘飞

IPC: G06F11/07

Abstract: 本发明公开了一种文件网关故障切换的处理方法、装置及介质，在检测到原计算机数据存储服务网关节点故障时，新的计算机数据存储服务网关节点则向故障网关节点查询所述故障网关节点上块设备客户端是否仍然打开数据存储集群卷并且挂载共享目录，若是，则向存储集群的数据节点申请将故障网关节点加入黑名单，并将最新的黑名单推送至所有的存储集群的数据节点，和周期性地向存储集群的管理节点上报其当前持有的黑名单版本，新的计算机数据存储服务网关节点周期性地向存储集群的管理节点查询各个存储集群的数据节点上报的黑名单版本是否都是最新的，是则在本节点上启动计算机数据存储服务，反之等待一段时间后进入下一个查询周期。

公开(公告)号：CN113971163A

公开(公告)日：2022-01-25

申请号：CN202010718204.4

申请日：2020-07-23

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  刘晴 ,  梁欣鑫

IPC: G06F16/16 ,  G06F16/13 ,  G06F16/172

Abstract: 本发明涉及存储技术领域，公开了一种小文件合并存储方法、读取方法以及服务器。方法包括：获取小文件的写入请求；确认写入请求对应的大对象；将小文件的数据写入大对象；将小文件的元数据和小文件对应的大对象的元数据更新到索引池，由此能够解决海量小文件存储性能下降的问题，保持写入性能平稳。

公开(公告)号：CN113868192A

公开(公告)日：2021-12-31

申请号：CN202111467385.9

申请日：2021-12-03

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  陈坚

IPC: G06F16/13 ,  G06F16/16 ,  G06F16/172 ,  G06F16/182

Abstract: 一种数据存储设备，具备高一致性，包括：读写控制单元、重定向缓存单元、存储单元；读写控制单元包括数据写入管理模块、元数据管理模块、日志管理模块、元数据数据库、元数据缓存模块、日志存储模块；重定向缓存单元包括缓存管理模块、SSD缓存盘、索引缓存模块、索引存储模块；数据写入管理模块收到数据写入请求；缓存管理模块在缓存空间写入请求中的数据；如果写入请求中的数据是初次写，标记该数据为正常缓存数据；对于覆盖写进行重新定向；把缓存映射和本次写入请求相关的元数据一起组成一个日志数据，日志管理模块将日志数据写入日志存储模块，然后再把元数据更新到元数据缓存模块，日志写入日志存储模块为原子操作。

公开(公告)号：CN113721849A

公开(公告)日：2021-11-30

申请号：CN202110968861.9

申请日：2021-08-23

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  刘亮奇 ,  陈坚

IPC: G06F3/06

Abstract: 本发明公开一种基于分布式存储的数据复制卸载方法及终端设备，该方法包括：存储网关收到数据复制指令，获取指令对应源、目的卷元数据信息，解析出相应对象信息和对象主存储节点信息，把数据复制信息发给源对象主存储节点；源对象主存储节点从本地磁盘读取复制数据，封装成写请求发给目的对象主存储节点；目的对象主存储节点完成写入操作，回复响应给源对象主存储节点；源对象主存储节点收到响应后给存储网关回复完成响应；存储网关完成所有数据复制后给客户端回复完成响应。本发明把数据复制操作从客户端和网关侧下移到分布式存储集群，能减少客户端和网关侧带宽压力，提高数据复制并发度和性能；减少虚拟化软件管理程序资源消耗和复制时延。

公开(公告)号：CN113282563A

公开(公告)日：2021-08-20

申请号：CN202110594798.7

申请日：2021-05-28

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  傅金地 ,  文刘飞

IPC: G06F16/182 ,  G06F16/16 ,  G06F16/14 ,  G06F16/13 ,  G06F16/172

Abstract: 本发明公开了一种基于对象存储的文件网关高可用实现方法及电子设备，该方法包括：接收获取文件元数据的初始访问请求；根据文件访问请求，获取并响应文件元数据和与文件对应的文件句柄，并生成文件句柄与文件之间的文件句柄映射信息；持久化文件句柄映射信息至存储文件句柄映射信息的文件句柄信息对象中。本发明通过将文件句柄映射信息持久化到对象存储系统中的方式，以解决现有网关高可用方案中导致网关读写性能下降、缓存容量使用率降低的问题。