-
公开(公告)号：CN118550882B
公开(公告)日：2024-10-22
申请号：CN202411012983.0
申请日：2024-07-26
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种检索文档的索引方法，包括：根据带索引的文件系统的元数据生成检索文档，并同步发送至分布式检索集群；分布式检索集群接收检索请求并进行检索，得到目标文件文档；根据目标文件文档，获取目标检索文档的文件名称和目标父目录ID；匹配对应的目标目录文档；读取目标目录文档的目录全路径；根据目标文件文档的文件名称和目标目录文档的目录全路径，获取目标文件文档的全路径；根据目标文件文档的全路径进行响应。本发明将文件元数据从文件系统同步到分布式检索集群时，不需要获取文件的全路径，且修改目录元数据时，只需要改动目录文档，对文件文档的操作可以并发执行，提高了同步效率，降低了配置要求和防止出现并行错误。
-
公开(公告)号：CN118550882A
公开(公告)日：2024-08-27
申请号：CN202411012983.0
申请日：2024-07-26
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种检索文档的索引方法，包括：根据带索引的文件系统的元数据生成检索文档，并同步发送至分布式检索集群；分布式检索集群接收检索请求并进行检索，得到目标文件文档；根据目标文件文档，获取目标检索文档的文件名称和目标父目录ID；匹配对应的目标目录文档；读取目标目录文档的目录全路径；根据目标文件文档的文件名称和目标目录文档的目录全路径，获取目标文件文档的全路径；根据目标文件文档的全路径进行响应。本发明将文件元数据从文件系统同步到分布式检索集群时，不需要获取文件的全路径，且修改目录元数据时，只需要改动目录文档，对文件文档的操作可以并发执行，提高了同步效率，降低了配置要求和防止出现并行错误。
-
公开(公告)号：CN118427161A
公开(公告)日：2024-08-02
申请号：CN202410892655.8
申请日：2024-07-04
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 一种分布式文件系统与目录操作方法，用于存储写入或读取文件，包括目录索引逻辑分层、文件分块对象存储逻辑分层；目录索引逻辑分层中存储目录索引信息、文件索引信息；文件或文件分片数据存放在所述目录索引指向的文件分块对象存储逻辑分层中；目录索引逻辑分层用Key‑Value存储机制，存储所述目录索引信息、文件索引信息。将分布式文件系统，分成目录索引逻辑分层、文件分块对象存储逻辑分层，用Key‑Value存储机制标识目录与文件索引信息，用组合键Key来标识目录树结构信息，使得树形的目录结构方便存储与索引，大幅度降低系统复杂度，支持海量文件存储的同时，提升了系统运行效率。
-
公开(公告)号：CN113630450B
公开(公告)日：2024-03-15
申请号：CN202110845558.X
申请日：2021-07-26
Applicant: 深圳市杉岩数据技术有限公司
IPC: H04L67/1097 , H04L67/60 , G06F16/27
Abstract: 本发明涉及数据存储管理技术领域，提供一种分布式存储系统的访问控制方法及分布式存储系统，所述分布式存储系统包括多台存储服务器和至少两个网关，所述方法通过多台存储服务器的后台对象存储目标逻辑卷的访问控制信息；基于订阅/通知机制，控制所述至少两个网关中与所述目标逻辑卷关联的网关在所述后台对象中注册网关信息，结合网关内置定时器定时拉取信息的机制，能够实现分布式存储系统的SCSI访问控制。
-
公开(公告)号：CN112866409B
公开(公告)日：2022-10-11
申请号：CN202110184218.7
申请日：2021-02-08
Applicant: 深圳市杉岩数据技术有限公司
IPC: H04L67/06 , H04L67/1097 , G06F16/22
Abstract: 本发明公开了一种基于对象存储分片上传的对象传送及收集方法、终端设备，该对象传送方法包括：发送对象初始化请求，接收对象标识；将对象切分成分片，写入数据，发送分片上传请求；接收分片数据；发送分片上传完成请求；发送修改对象数据请求，接收待修改分片区间，使用待修改分片区间重新上传分片，使用新的分片数据覆盖旧的数据，当新数据上传完成，再次发送分片上传完成请求。实现了分片上传大对象过程中对象可见，直接以上传新分片方式来覆盖修改对象数据，而无需再重新上传整个对象来更新修改，节省修改时间，节约资源，从而解决上传过程对象不可见及修改不便的问题。
-
Patent Agency Ranking
公开(公告)号：CN114625312A
公开(公告)日：2022-06-14
申请号：CN202111421028.9
申请日：2021-11-26
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明涉及数据存储技术领域，具体涉及一种数据存储方法、系统及电子设备。本发明实施例提供的数据存储方法、系统及电子设备，通过使用多个日志分片，并行地将操作记录写入数据存储系统的磁盘中，可以减少单个日志的写入性能瓶颈带来的影响，提升数据存储系统的总体性能，此外，直接使用磁盘或磁盘分区来存储预写日志，避免了使用文件系统存储预写日志带来的额外性能损耗。
-
公开(公告)号：CN114579529A
公开(公告)日：2022-06-03
申请号：CN202210492517.1
申请日：2022-05-07
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F16/172 , G06F16/18 , G06F16/16
Abstract: 本发明提出一种基于重定向和日志混合的本地存储方法及系统，该方法包括三个场景：1）初次写或数据块单元对齐覆盖写场景，数据异步写存储设备数据盘，写完返回后将元数据封装成本地日志的一个条目，然后分片异步写本地日志，日志落盘成功后同步到KV数据库的内存缓存，然后将写操作的响应返回给上层；2）非数据块单元对齐覆盖写场景，先将数据和元数据封装成本地日志的一个条目，然后分片写本地日志，写完本地日志后再写内存缓存，然后写操作即可返回；3）混合场景，先写数据块单元对齐部分的数据，然后写元数据和非数据块单元对齐部分的数据到本地日志，然后返回写操作的响应，再将非数据块单元对齐覆盖写部分的数据写入存储设备数据盘。
-
公开(公告)号：CN113791740B
公开(公告)日：2022-02-18
申请号：CN202111325910.3
申请日：2021-11-10
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了记录对象存储桶统计计数的方法，属于数据存储领域，包括：对象存储网关RGW完成写操作后，对目标对象所属存储桶统计计数的键的值同步更新；将目标存储桶统计计数的键拆分为若干子键，将整个键空间分成指定片数的子空间；任务线程从其缓存中读取目标键的值，修改后重新储存并持久化到该目标键的子键所属的TIKV中；RGW接受读取目标存储桶统计计数的请求后，结合请求对应的存储桶，分拆成对多个子键的处理请求并下发到后端的TIKV；S5、TIKV对目标存储桶的统计计数的子键进行遍历，并在TIKV节点中进行归并，再将归并结果返回RGW进行二次归并。避免高并发场景下由于请求排队而造成的不必要的等待耗时，以及对同一Key修改而造成的写冲突和写热点问题。
-
公开(公告)号：CN113791740A
公开(公告)日：2021-12-14
申请号：CN202111325910.3
申请日：2021-11-10
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了记录对象存储桶统计计数的方法，属于数据存储领域，包括：对象存储网关RGW完成写操作后，对目标对象所属存储桶统计计数的键的值同步更新；将目标存储桶统计计数的键拆分为若干子键，将整个键空间分成指定片数的子空间；任务线程从其缓存中读取目标键的值，修改后重新储存并持久化到该目标键的子键所属的TIKV中；RGW接受读取目标存储桶统计计数的请求后，结合请求对应的存储桶，分拆成对多个子键的处理请求并下发到后端的TIKV；S5、TIKV对目标存储桶的统计计数的子键进行遍历，并在TIKV节点中进行归并，再将归并结果返回RGW进行二次归并。避免高并发场景下由于请求排队而造成的不必要的等待耗时，以及对同一Key修改而造成的写冲突和写热点问题。
-
公开(公告)号：CN113746641A
公开(公告)日：2021-12-03
申请号：CN202111303543.7
申请日：2021-11-05
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种基于分布式存储的ODX协议处理方法，分布式存储服务端结合iSCSI技术和存储网关技术的运用，在目标器服务程序增加对ODX协议的支持。目标器作为直接与客户交互的模块，能够接收并处理客户发起的ODX命令；创建并同步令牌到分布式存储集群的各个节点，令牌同步完成后回响应给客户端；下发数据拷贝请求到存储集群。分布式存储对ODX协议的支持，使得分布式存储配合Windows hyper‑v，smb share disk等应用场景能够进行高效的数据传输，并且减少服务器CPU，内存，网络等资源消耗。本发明结合分布式存储的订阅/通知机制，解决ODX协议中的令牌在分布式存储系统中多节点的目标器之间通信同步的难题。合理的令牌管理，使得在创建、删除、查询这些令牌时更加可靠和高效。
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.057 seconds)
