-
公开(公告)号：CN109947363A
公开(公告)日：2019-06-28
申请号：CN201811511231.3
申请日：2018-12-11
Applicant: 深圳供电局有限公司 , 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种分布式存储系统的数据缓存方法，该方法包括：将分布式存储系统中下发到每个缓存单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签；识别请求存储数据的标签，获得所述请求存储数据的数据类型；根据所述数据类型和预先设置的存储策略进行数据缓存。本发明可以大大提高刷盘效率，优化缓存资源的使用，避免缓存污染，通过缓存技术提高了整个分布式存储系统的服务质量。
-
公开(公告)号：CN109947363B
公开(公告)日：2022-10-14
申请号：CN201811511231.3
申请日：2018-12-11
Applicant: 深圳供电局有限公司 , 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种分布式存储系统的数据缓存方法，该方法包括：将分布式存储系统中下发到每个缓存单元请求缓存的数据按照不同的维度进行分类，定义每一数据类型的标签，并使得所述数据携带该标签；识别请求存储数据的标签，获得所述请求存储数据的数据类型；根据所述数据类型和预先设置的存储策略进行数据缓存。本发明可以大大提高刷盘效率，优化缓存资源的使用，避免缓存污染，通过缓存技术提高了整个分布式存储系统的服务质量。
-
公开(公告)号：CN108334561A
公开(公告)日：2018-07-27
申请号：CN201810011530.4
申请日：2018-01-05
Applicant: 深圳供电局有限公司 , 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种跨站点远程复制实现方法，其包括步骤：步骤S10，主数据中心接收来自应用系统的更新操作请求，其中携带有自定义的远程复制属性；步骤S11，主数据中心对对象存储单元中的相应文件进行更新操作，并在更新日志中至少记录远程复制属性；步骤S12，主数据中心或备数据中心周期性读取更新日志，并根据其中的远程复制属性确定复制策略；步骤S13，根据所确定的复制策略，与所述备份数据中心进行建立联系，并按照所述复制策略进行远程复制。实施本发明，通过设置变更操作对应的远程复制属性，可以实现灵活的远程复制机制。
-
公开(公告)号：CN119166605B
公开(公告)日：2025-02-18
申请号：CN202411665044.6
申请日：2024-11-20
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/18 , G06F16/178 , G06F16/17
Abstract: 本发明提出了一种基于分布式日志的小文件合并空间回收方法。在小文件覆盖写或删除时，主节点通过索引信息确定受影响的聚合对象和区间，生成空间回收日志记录待回收空间。所述日志随后同步至从节点，并由后台线程筛选整理，按聚合对象粒度进行空间回收操作，包括执行数据清零操作释放区间，并在回收完成后更新进度信息。为应对节点故障，本发明还包括日志异常恢复流程，确保选出操作日志最全的存储进程作为权威存储进程，并以其日志为准进行恢复，保证数据一致性。该方法通过分布式日志和后台线程处理，提高了小文件合并后的空间回收效率，优化了存储资源使用，降低了成本，并增强了系统的稳定性和可靠性。
-
公开(公告)号：CN119311699A
公开(公告)日：2025-01-14
申请号：CN202411864081.X
申请日：2024-12-18
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/22 , G06F16/28 , G06F16/21 , G06F16/907
Abstract: 极冷对象存储系统、访问和管理方法中，极冷对象索引层包括存储设备，存储设备用于保存极冷对象索引；冷对象数据层包括存储设备C1，用于保存极冷对象数据；极冷对象元数据层包括存储设备D1，用于保存极冷对象元数据；极冷对象索引包括极冷对象的名称或编号与极冷对象元数据保存的存储设备D1位置信息；极冷对象元数据中，包括极冷对象名称或编号与极冷对象数据的存储设备C1的位置信息；存储设备C1为磁带存储设备，存储设备D1为磁带存储设备；在极冷对象索引中根据名称或编号找到极冷对象元数据保存的存储设备D1位置信息；获得极冷对象元数据后，获得极冷对象数据的存储设备D1位置信息；再到存储设备D1获得极冷对象数据。
-
Patent Agency Ranking
公开(公告)号：CN118964297A
公开(公告)日：2024-11-15
申请号：CN202411424531.3
申请日：2024-10-12
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/13 , G06F16/182 , G06F16/172
Abstract: 一种使用分布式KV的文件系统路径查询加速方法，在分布式KV存储系统中为文件系统创建一个全路径缓存域，该域包括多个协处理节点，负责存储文件系统的所有目录访问信息，允许系统在一次网络请求中，通过任意一个协处理节点完成整个路径的查询操作，显著提高了查询效率和系统性能。此外，本发明利用分布式KV存储的多key事务特性，将同一文件系统的所有目录访问信息统一缓存，避免了传统方法中因客户端缓存限制和节点间负载不均而导致的性能问题。通过这种方法，不仅减少了元数据访问的处理时间，还优化了分布式KV存储系统的输入/输出性能，为海量文件的高效管理和快速访问提供了强有力的技术支持。
-
公开(公告)号：CN118427161B
公开(公告)日：2024-10-01
申请号：CN202410892655.8
申请日：2024-07-04
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 一种分布式文件系统与目录操作方法，用于存储写入或读取文件，包括目录索引逻辑分层、文件分块对象存储逻辑分层；目录索引逻辑分层中存储目录索引信息、文件索引信息；文件或文件分片数据存放在所述目录索引指向的文件分块对象存储逻辑分层中；目录索引逻辑分层用Key‑Value存储机制，存储所述目录索引信息、文件索引信息。将分布式文件系统，分成目录索引逻辑分层、文件分块对象存储逻辑分层，用Key‑Value存储机制标识目录与文件索引信息，用组合键Key来标识目录树结构信息，使得树形的目录结构方便存储与索引，大幅度降低系统复杂度，支持海量文件存储的同时，提升了系统运行效率。
-
公开(公告)号：CN113721849B
公开(公告)日：2024-04-12
申请号：CN202110968861.9
申请日：2021-08-23
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开一种基于分布式存储的数据复制卸载方法及终端设备，该方法包括：存储网关收到数据复制指令，获取指令对应源、目的卷元数据信息，解析出相应对象信息和对象主存储节点信息，把数据复制信息发给源对象主存储节点；源对象主存储节点从本地磁盘读取复制数据，封装成写请求发给目的对象主存储节点；目的对象主存储节点完成写入操作，回复响应给源对象主存储节点；源对象主存储节点收到响应后给存储网关回复完成响应；存储网关完成所有数据复制后给客户端回复完成响应。本发明把数据复制操作从客户端和网关侧下移到分布式存储集群，能减少客户端和网关侧带宽压力，提高数据复制并发度和性能；减少虚拟化软件管理程序资源消耗和复制时延。
-
公开(公告)号：CN113204554B
公开(公告)日：2023-03-31
申请号：CN202110511634.3
申请日：2021-05-11
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种对象存储系统实现稀疏写的方法，可以在对象任意位置写入任意长度的数据，写入的数据不要求具有连续性，支持随机写，稀疏写，支持数据修改。并且，本发明提供的方法中对象存储系统，其实通过记录已写的数据及定位信息，且在目标对象写完成时，计算出空白数据段及其空白对象分片，并创建空白对象分片，在读的时候会用数据零补齐返回，最终实现对象存储系统的数据稀疏写入，进而避免了数据读/写放大问题，也无需对待存储的数据进行迁移或转移，从而能有效的提高对象存储系统的性能。
-
公开(公告)号：CN113721861A
公开(公告)日：2021-11-30
申请号：CN202111279988.6
申请日：2021-11-01
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开基于定长块的数据存储实现方法：以定长块为单元分配磁盘空间；收到写请求后若为快照后的第一个写请求则把数据对象中定长块转为共享块并把共享块信息加入数据对象的共享链，结合写请求的快照序列号创建对应快照对象并复制数据对象的共享链；根据写请求的数据地址确认对应定长块是否已分配，若否，则分配定长块并初始化位图；共享链的深度是否超过阈值，若超，通过共享链读取对应的共享数据并和写请求的数据合并，写入定长块并更新位图，否则根据写请求的数据地址写入定长块并更新位图；对比定长块的位图和其共享链中共享块的位图，去掉没有数据依赖关系的共享块，并对该共享块的引用计数减1；若减1后其计数为0释放该共享块磁盘空间。
-
-
-
-
-
-
-
-
-
Search Results
72
records
(took 0.059 seconds)
