公开(公告)号：CN113489784B

公开(公告)日：2024-05-17

申请号：CN202110755683.1

申请日：2021-07-05

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  田庸 ,  陈坚

IPC: H04L67/1097 ,  H04L43/10 ,  G06F3/06 ,  G06F9/50

Abstract: 本发明公开一种分布式存储的非对称逻辑单元访问多路径实现方法及系统，该方法包括：数据集群保存SCSI网关、目标器和逻辑卷关系视图；启动SCSI网关，当目标器关联SCSI网关或逻辑卷关联目标器或SCSI网关检测路径出现异常，通知元数据集群；元数据集群更新相应元数据信息，把更新后信息同步给SCSI网关；SCSI网关间相互发送心跳，当检测到路径异常上报给元数据集群，元数据集群决策SCSI网关故障后更新元数据信息，把更新信息同步给SCSI网关；SCSI网关接收同步信息，若路径状态发送变化，修改对应逻辑卷路径状态。本发明通过元数据集群管理SCSI网关、目标器和逻辑卷关系视图，实现非对称逻辑单元路径选择。

公开(公告)号：CN115622715B

公开(公告)日：2023-03-03

申请号：CN202211436844.1

申请日：2022-11-16

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  高科 ,  陈坚

IPC: H04L9/32 ,  H04L9/40 ,  H04L12/66 ,  H04L67/1097

Abstract: 为解决分布式存储中ODX令牌处理的性能问题，本发明提出一种基于令牌的分布式存储系统、网关和方法：包括客户端、存储网关节点、两个以上的分布式存储节点；分布式存储节点分别与存储网关节信号连接；源数据存储网关节点对需要复制的数据的读写控制信息进行加密处理；将加密后的读写控制信息放入令牌数据中，存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌数据后，解密所述加密后的读写控制信息；存储网关节点建立合法访问关系，根据所述读写控制信息复制数据。通过将加密后的令牌直接发送给所述客户端，不需要存储网关节点做实时令牌同步。

公开(公告)号：CN115145497A

公开(公告)日：2022-10-04

申请号：CN202211081206.2

申请日：2022-09-06

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 王家传 ,  文刘飞 ,  陈坚

IPC: G06F3/06

Abstract: 本发明提供一种基于分布式存储的卷数据在线迁移方法，包括如下步骤：迁移准备阶段：接收迁移指令，根据迁移指令获取和创建迁移任务及目标卷，并在线建立源卷与目标卷间的在线迁移关系，并悬挂IO，将已接收业务请求全部调度执行后，在线修改IO调度策略，再解除悬挂IO，使得业务能够被正确路由至源卷或目标卷上执行，保证业务的持续在线；迁移数据阶段：将源卷所有数据对象按序迁移至目标卷，按序更新迁移进度，以支持断点续传；迁移完成阶段：删除源卷和迁移任务；本发明在迁移数据期间将业务写请求仅路由至目标卷写入，有效避免业务数据同步写源卷和目标卷而导致的写放大和存储系统资源的浪费。

公开(公告)号：CN114579529B

公开(公告)日：2022-08-05

申请号：CN202210492517.1

申请日：2022-05-07

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  陈建立 ,  陈坚

IPC: G06F16/172 ,  G06F16/18 ,  G06F16/16

Abstract: 本发明提出一种基于重定向和日志混合的本地存储方法及系统，该方法包括三个场景：1）初次写或数据块单元对齐覆盖写场景，数据异步写存储设备数据盘，写完返回后将元数据封装成本地日志的一个条目，然后分片异步写本地日志，日志落盘成功后同步到KV数据库的内存缓存，然后将写操作的响应返回给上层；2）非数据块单元对齐覆盖写场景，先将数据和元数据封装成本地日志的一个条目，然后分片写本地日志，写完本地日志后再写内存缓存，然后写操作即可返回；3）混合场景，先写数据块单元对齐部分的数据，然后写元数据和非数据块单元对齐部分的数据到本地日志，然后返回写操作的响应，再将非数据块单元对齐覆盖写部分的数据写入存储设备数据盘。

公开(公告)号：CN114579062B

公开(公告)日：2022-08-05

申请号：CN202210465590.X

申请日：2022-04-29

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 周磊 ,  文刘飞 ,  陈坚

IPC: G06F3/06

Abstract: 本发明实施例涉及一种基于分布式存储系统的磁盘优化方法及装置，在接收到WRITE_SAME请求命令时，且确定后端管理主进程和备进程后，只将WRITE_SAME命令及所述模板参数传递给后端管理备进程，避免传递前拓展模板而造成带宽占用，从而减小网络损耗，同时利用位图结构作为元数据信息存储磁盘分片的数据写入情况，在厚置备的填0操作时，仅修改位图进行占位，避免磁盘的数据0写入消耗；实现轻量级持久化。

公开(公告)号：CN114385090B

公开(公告)日：2022-06-07

申请号：CN202210288864.2

申请日：2022-03-23

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 李俊龙 ,  陈坚

IPC: G06F3/06

Abstract: 本发明公开了一种基于对象存储站点同步机制的数据自动处理方法及装置，该方法包括如下步骤：S1、将处理参数和过程配置预配置为策略；S2、在上传对象时，自定义请求头携带策略id，业务RGW将策略记录在bilog和metadata中；S3、利用站点同步机制，在全量同步的时候通过metadata获取策略id，在增量同步的时候通过bilog获取策略id，并连同对象信息，生成处理请求，发往消息队列；S4、处理服务从存储拉取对象，根据策略进行处理。本发明利用ceph多站点数据同步功能，将数据分发到不同的处理服务，实现异步的数据处理功能，不需要依赖额外的组件实现数据转发，不影响存储基础功能使用。

公开(公告)号：CN114064563A

公开(公告)日：2022-02-18

申请号：CN202010751959.4

申请日：2020-07-30

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  王东 ,  梁欣鑫

IPC: G06F16/11 ,  G06F16/172 ,  G06F16/182 ,  G06F16/21 ,  G06F16/23

Abstract: 本发明涉及存储技术领域，公开了一种基于对象存储的数据迁移方法和服务器。方法包括：创建存储池，将源存储系统挂载到目标存储系统；将源存储系统中文件的元数据写入目标存储系统；根据写入的元数据以及预先设置的数据迁移规则将源存储系统中文件的数据迁移至目标存储系统，不但能够提高数据迁移效率，而且能够降低出错概率。

公开(公告)号：CN113746641B

公开(公告)日：2022-02-18

申请号：CN202111303543.7

申请日：2021-11-05

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 文刘飞 ,  高科 ,  陈坚

IPC: H04L9/32 ,  H04L67/1097 ,  H04L67/1095

Abstract: 本发明公开了一种基于分布式存储的ODX协议处理方法，分布式存储服务端结合iSCSI技术和存储网关技术的运用，在目标器服务程序增加对ODX协议的支持。目标器作为直接与客户交互的模块，能够接收并处理客户发起的ODX命令；创建并同步令牌到分布式存储集群的各个节点，令牌同步完成后回响应给客户端；下发数据拷贝请求到存储集群。分布式存储对ODX协议的支持，使得分布式存储配合Windows hyper‑v，smb share disk等应用场景能够进行高效的数据传输，并且减少服务器CPU，内存，网络等资源消耗。本发明结合分布式存储的订阅/通知机制，解决ODX协议中的令牌在分布式存储系统中多节点的目标器之间通信同步的难题。合理的令牌管理，使得在创建、删除、查询这些令牌时更加可靠和高效。

公开(公告)号：CN113126920A

公开(公告)日：2021-07-16

申请号：CN202110361851.9

申请日：2021-04-02

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  匡浩 ,  马四 ,  文刘飞

IPC: G06F3/06

Abstract: 本发明实施例涉及一种对象存储批量读取及写入方法、客户端和存储网关，所述读取方法应用于客户端、存储网关，所述读取方法使得客户端可以从存储网关读取至少一个指定对象的指定范围的分片数据，实现批量读取，避免客户端与存储网关的多次交互；所述写入方法应用于客户端、存储网关，所述写入方法能够实现至少一个对象及分片数据的全部写入或部分写入，实现海量对象的写入，能有效降低客户端与存储网关的交互次数。本发明实施例，通过提供基于POST请求的批量读写接口，减少客户端与存储网关间的请求交互次数，提高读写效率，降低客户端资源消耗。

公开(公告)号：CN112395264A

公开(公告)日：2021-02-23

申请号：CN202011352601.0

申请日：2020-11-26

Applicant: 深圳市杉岩数据技术有限公司

Inventor： 陈坚 ,  文刘飞 ,  刘华兴

IPC: G06F16/182 ,  G06F3/06

Abstract: 本发明公开了分布式存储系统中逻辑目标与卷之间映射的处理方法，包括：S1、在分布式存储系统中保存目标映射信息，包括网关节点与逻辑目标的映射关系、逻辑目标与卷的映射关系以及逻辑目标与客户端的映射关系；S2、基于该目标映射信息，通过SCSI网关加载并对外暴露逻辑目标，以处理客户端发送而来的访问请求；S3、基于订阅通知机制，使SCSI网关订阅分布式存储系统中目标映射信息和/或配置信息的变更通知；当用户修改目标映射信息和/或配置信息时，通知已订阅变更通知的SCSI网关；S4、当SCSI网关收到变更通知，重新加载分布式存储系统的存储集群中维护的元数据映射表，并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。