-
公开(公告)号：CN118427161B
公开(公告)日：2024-10-01
申请号：CN202410892655.8
申请日：2024-07-04
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 一种分布式文件系统与目录操作方法，用于存储写入或读取文件，包括目录索引逻辑分层、文件分块对象存储逻辑分层；目录索引逻辑分层中存储目录索引信息、文件索引信息；文件或文件分片数据存放在所述目录索引指向的文件分块对象存储逻辑分层中；目录索引逻辑分层用Key‑Value存储机制，存储所述目录索引信息、文件索引信息。将分布式文件系统，分成目录索引逻辑分层、文件分块对象存储逻辑分层，用Key‑Value存储机制标识目录与文件索引信息，用组合键Key来标识目录树结构信息，使得树形的目录结构方便存储与索引，大幅度降低系统复杂度，支持海量文件存储的同时，提升了系统运行效率。
-
公开(公告)号：CN113721849B
公开(公告)日：2024-04-12
申请号：CN202110968861.9
申请日：2021-08-23
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开一种基于分布式存储的数据复制卸载方法及终端设备，该方法包括：存储网关收到数据复制指令，获取指令对应源、目的卷元数据信息，解析出相应对象信息和对象主存储节点信息，把数据复制信息发给源对象主存储节点；源对象主存储节点从本地磁盘读取复制数据，封装成写请求发给目的对象主存储节点；目的对象主存储节点完成写入操作，回复响应给源对象主存储节点；源对象主存储节点收到响应后给存储网关回复完成响应；存储网关完成所有数据复制后给客户端回复完成响应。本发明把数据复制操作从客户端和网关侧下移到分布式存储集群，能减少客户端和网关侧带宽压力，提高数据复制并发度和性能；减少虚拟化软件管理程序资源消耗和复制时延。
-
公开(公告)号：CN113204554B
公开(公告)日：2023-03-31
申请号：CN202110511634.3
申请日：2021-05-11
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明公开了一种对象存储系统实现稀疏写的方法，可以在对象任意位置写入任意长度的数据，写入的数据不要求具有连续性，支持随机写，稀疏写，支持数据修改。并且，本发明提供的方法中对象存储系统，其实通过记录已写的数据及定位信息，且在目标对象写完成时，计算出空白数据段及其空白对象分片，并创建空白对象分片，在读的时候会用数据零补齐返回，最终实现对象存储系统的数据稀疏写入，进而避免了数据读/写放大问题，也无需对待存储的数据进行迁移或转移，从而能有效的提高对象存储系统的性能。
-
公开(公告)号：CN113721861A
公开(公告)日：2021-11-30
申请号：CN202111279988.6
申请日：2021-11-01
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开基于定长块的数据存储实现方法：以定长块为单元分配磁盘空间；收到写请求后若为快照后的第一个写请求则把数据对象中定长块转为共享块并把共享块信息加入数据对象的共享链，结合写请求的快照序列号创建对应快照对象并复制数据对象的共享链；根据写请求的数据地址确认对应定长块是否已分配，若否，则分配定长块并初始化位图；共享链的深度是否超过阈值，若超，通过共享链读取对应的共享数据并和写请求的数据合并，写入定长块并更新位图，否则根据写请求的数据地址写入定长块并更新位图；对比定长块的位图和其共享链中共享块的位图，去掉没有数据依赖关系的共享块，并对该共享块的引用计数减1；若减1后其计数为0释放该共享块磁盘空间。
-
公开(公告)号：CN113485644A
公开(公告)日：2021-10-08
申请号：CN202110757469.X
申请日：2021-07-05
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据处理领域，公开了一种I O数据存储方法和服务器，方法包括：创建逻辑存储单元，逻辑存储单元用于存储I O数据，为逻辑存储单元分配优先级标记；网关接收I O数据处理请求，根据逻辑存储单元的优先级标记，给I O数据标记对应的优先级，并将I O数据转发给主处理进程进行处理，如此，通过为逻辑存储单元分配优先级标记，并根据不同的优先级标记对I O数据进行处理，在I O流程处理的过程中能够感知业务的优先级高低，进而实施不同的服务质量控制，不但能够最大化集群服务能力，而且能够降低I O延时。
-
Patent Agency Ranking
公开(公告)号：CN119148944B
公开(公告)日：2025-02-21
申请号：CN202411594313.4
申请日：2024-11-09
Applicant: 深圳市杉岩数据技术有限公司 , 成都市杉岩科技有限公司
IPC: G06F3/06
Abstract: 一种基于索引的海量小文件存储方法和系统中，写入小文件时，缓存进程按顺序写入缓存对象，在缓存对象索引中增加缓存对象的缓存小文件数量；小文件索引中记录小文件的大小，存储的开始位置；写入小文件时；小文件索引中记录小文件的大小，存储的开始位置；数据老化度统计进程统计缓存对象中数据缓存的时间长度，获得每个缓存对象的数据老化度，数据老化度等于缓存对象中数据写入的时长；后端存储进程K锁定老化时间大于设定的缓存对象；后端存储进程K将锁定的数据，写入到后端大对象中，小文件索引中更新小文件与后端大对象的对应关系。
-
公开(公告)号：CN114116285B
公开(公告)日：2025-02-18
申请号：CN202111387406.6
申请日：2021-11-22
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F11/07
Abstract: 本发明公开了一种文件网关故障切换的处理方法、装置及介质，在检测到原计算机数据存储服务网关节点故障时，新的计算机数据存储服务网关节点则向故障网关节点查询所述故障网关节点上块设备客户端是否仍然打开数据存储集群卷并且挂载共享目录，若是，则向存储集群的数据节点申请将故障网关节点加入黑名单，并将最新的黑名单推送至所有的存储集群的数据节点，和周期性地向存储集群的管理节点上报其当前持有的黑名单版本，新的计算机数据存储服务网关节点周期性地向存储集群的管理节点查询各个存储集群的数据节点上报的黑名单版本是否都是最新的，是则在本节点上启动计算机数据存储服务，反之等待一段时间后进入下一个查询周期。
-
公开(公告)号：CN118660164B
公开(公告)日：2024-11-22
申请号：CN202411148345.1
申请日：2024-08-21
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: H04N19/40 , H04N19/426
Abstract: 本申请公开了一种基于对象属性的图像转码压缩、解压缩的方法及装置，本申请在图像数据写入时，先根据图像数据的格式判断是否为转码压缩对象，如是转码压缩对象，则将转码压缩消息发送消息队列，基于转码压缩消息对图像数据进行转码压缩并存储对象的元数据信息；在图像数据读取时，先获取图像数据的对象元数据信息，如对象为转码压缩对象，获取压缩图像数据，并基于对象元数据信息对图像压缩数据进行转码解压缩。本身申请结合对象属性以实现对图像数据文件的转码压缩，减少了存储空间的占用，大大提高了运行效率；同时，结合对象属性实现了图像数据文件的离线转码压缩和在线解码，在用户不感知的情况下降低了存储消耗，提升了用户体验。
-
公开(公告)号：CN114625312B
公开(公告)日：2024-10-22
申请号：CN202111421028.9
申请日：2021-11-26
Applicant: 深圳市杉岩数据技术有限公司
Abstract: 本发明涉及数据存储技术领域，具体涉及一种数据存储方法、系统及电子设备。本发明实施例提供的数据存储方法、系统及电子设备，通过使用多个日志分片，并行地将操作记录写入数据存储系统的磁盘中，可以减少单个日志的写入性能瓶颈带来的影响，提升数据存储系统的总体性能，此外，直接使用磁盘或磁盘分区来存储预写日志，避免了使用文件系统存储预写日志带来的额外性能损耗。
-
公开(公告)号：CN113485644B
公开(公告)日：2024-09-13
申请号：CN202110757469.X
申请日：2021-07-05
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据处理领域，公开了一种I O数据存储方法和服务器，方法包括：创建逻辑存储单元，逻辑存储单元用于存储I O数据，为逻辑存储单元分配优先级标记；网关接收I O数据处理请求，根据逻辑存储单元的优先级标记，给I O数据标记对应的优先级，并将I O数据转发给主处理进程进行处理，如此，通过为逻辑存储单元分配优先级标记，并根据不同的优先级标记对I O数据进行处理，在I O流程处理的过程中能够感知业务的优先级高低，进而实施不同的服务质量控制，不但能够最大化集群服务能力，而且能够降低I O延时。
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.039 seconds)
