-
公开(公告)号:CN119311699B
公开(公告)日:2025-04-29
申请号:CN202411864081.X
申请日:2024-12-18
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/22 , G06F16/28 , G06F16/21 , G06F16/907
Abstract: 极冷对象磁带存储系统、访问和管理方法中,极冷对象索引层包括存储设备,存储设备用于保存极冷对象索引;冷对象数据层包括存储设备C1,用于保存极冷对象数据;极冷对象元数据层包括存储设备D1,用于保存极冷对象元数据;极冷对象索引包括极冷对象的名称或编号与极冷对象元数据保存的存储设备D1位置信息;极冷对象元数据中,包括极冷对象名称或编号与极冷对象数据的存储设备C1的位置信息;存储设备C1为磁带存储设备,存储设备D1为磁带存储设备;在极冷对象索引中根据名称或编号找到极冷对象元数据保存的存储设备D1位置信息;获得极冷对象元数据后,获得极冷对象数据的存储设备D1位置信息;再到存储设备D1获得极冷对象数据。
-
公开(公告)号:CN113377714B
公开(公告)日:2025-04-08
申请号:CN202110661804.6
申请日:2021-06-15
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F16/16 , G06F16/182 , H04L67/1097 , G06F9/54
Abstract: 本发明实施例涉及一种基于分布式存储系统的目标器重命名方法及装置,在逻辑目标器中,将逻辑名和服务名作为逻辑目标的一个属性记录,并通过增加逻辑目标器中逻辑名与服务名的映射,使得逻辑名与服务名被保存到同一个对象的不同的映射表中;并且,在存储集群中,仍然以逻辑目标器的逻辑名与客户端、块存储客户端和SCS I网关建立映射关系。在逻辑目标器重命名时,实际上是对逻辑目标器中逻辑名与服务名的映射关系的添加及修改,只需要向底层数据库下发一次写请求,即仅需要对一个对象的逻辑名与服务名的映射进行数据库配置操作,保障了数据的一致性,且有效提高重命名效率。
-
公开(公告)号:CN119003534B
公开(公告)日:2025-01-17
申请号:CN202411473436.2
申请日:2024-10-22
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/22 , G06F16/21 , G06F16/2458 , G06F16/27
Abstract: 一种分布式键值数据库列数据和统计系统和方法中,包括两个以上数据存储服务器、统计服务器;数据存储服务器中包括数据分片基础统计值管理模块;数据分片基础统计值管理模块用于管理基础统计值,基础统计值与数据分片对应;数据分片统计值变化管理模块用于管理统计变化值,统计变化值与数据分片对应,统计变化值用于记录数据列的变化统计和;本申请将“超大规模数据列表的一个列数据的统计和”计算操作,分解成各个数据存储数据分片的局部计算,汇总获得整个数据的统计和,改变成为各个数据存储数据分片中基础统计值与统计变化值的和,大幅度提升了人工智能或大规模数据库的运行效率,大幅度降低耗电量。
-
公开(公告)号:CN113282563B
公开(公告)日:2024-12-27
申请号:CN202110594798.7
申请日:2021-05-28
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F16/182 , G06F16/16 , G06F16/14 , G06F16/13 , G06F16/172
Abstract: 本发明公开了一种基于对象存储的文件网关高可用实现方法及电子设备,该方法包括:接收获取文件元数据的初始访问请求;根据文件访问请求,获取并响应文件元数据和与文件对应的文件句柄,并生成文件句柄与文件之间的文件句柄映射信息;持久化文件句柄映射信息至存储文件句柄映射信息的文件句柄信息对象中。本发明通过将文件句柄映射信息持久化到对象存储系统中的方式,以解决现有网关高可用方案中导致网关读写性能下降、缓存容量使用率降低的问题。
-
公开(公告)号:CN119166605A
公开(公告)日:2024-12-20
申请号:CN202411665044.6
申请日:2024-11-20
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: G06F16/18 , G06F16/178 , G06F16/17
Abstract: 本发明提出了一种基于分布式日志的小文件合并空间回收方法。在小文件覆盖写或删除时,主节点通过索引信息确定受影响的聚合对象和区间,生成空间回收日志记录待回收空间。所述日志随后同步至从节点,并由后台线程筛选整理,按聚合对象粒度进行空间回收操作,包括执行数据清零操作释放区间,并在回收完成后更新进度信息。为应对节点故障,本发明还包括日志异常恢复流程,确保选出操作日志最全的存储进程作为权威存储进程,并以其日志为准进行恢复,保证数据一致性。该方法通过分布式日志和后台线程处理,提高了小文件合并后的空间回收效率,优化了存储资源使用,降低了成本,并增强了系统的稳定性和可靠性。
-
公开(公告)号:CN118964362A
公开(公告)日:2024-11-15
申请号:CN202411448657.4
申请日:2024-10-17
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
Abstract: 一种在版本迭代升级中实现自定义数据库表结构自动化更新的方法,包括以下步骤:定义基于基类的表模型,构建表模型和数据库表结构的关系映射;连接并获取当前数据库的表结构信息,并将其转换成基于所述基类的映射结构;根据自定义需求选择性地导入新版本的数据库表模型,并将其结构信息转换成基于所述基类的映射结构;通过比较生成的映射结构,识别两者之间的差异;根据识别的差异,生成用于更新数据库表结构的迁移脚本;执行所述迁移脚本,将当前数据库表结构更新升级为新版本的数据库表结构。该方法能够极大地简化数据库表结构更新流程,提高更新效率,并降低人为错误的风险。
-
公开(公告)号:CN118660164A
公开(公告)日:2024-09-17
申请号:CN202411148345.1
申请日:2024-08-21
Applicant: 深圳市杉岩数据技术有限公司 , 深圳市杉岩智能科技有限公司
IPC: H04N19/40 , H04N19/426
Abstract: 本申请公开了一种基于对象属性的图像转码压缩、解压缩的方法及装置,本申请在图像数据写入时,先根据图像数据的格式判断是否为转码压缩对象,如是转码压缩对象,则将转码压缩消息发送消息队列,基于转码压缩消息对图像数据进行转码压缩并存储对象的元数据信息;在图像数据读取时,先获取图像数据的对象元数据信息,如对象为转码压缩对象,获取压缩图像数据,并基于对象元数据信息对图像压缩数据进行转码解压缩。本身申请结合对象属性以实现对图像数据文件的转码压缩,减少了存储空间的占用,大大提高了运行效率;同时,结合对象属性实现了图像数据文件的离线转码压缩和在线解码,在用户不感知的情况下降低了存储消耗,提升了用户体验。
-
公开(公告)号:CN112395264B
公开(公告)日:2024-05-28
申请号:CN202011352601.0
申请日:2020-11-26
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F16/182 , G06F3/06
Abstract: 本发明公开了分布式存储系统中逻辑目标与卷之间映射的处理方法,包括:S1、在分布式存储系统中保存目标映射信息,包括网关节点与逻辑目标的映射关系、逻辑目标与卷的映射关系以及逻辑目标与客户端的映射关系;S2、基于该目标映射信息,通过SCSI网关加载并对外暴露逻辑目标,以处理客户端发送而来的访问请求;S3、基于订阅通知机制,使SCSI网关订阅分布式存储系统中目标映射信息和/或配置信息的变更通知;当用户修改目标映射信息和/或配置信息时,通知已订阅变更通知的SCSI网关;S4、当SCSI网关收到变更通知,重新加载分布式存储系统的存储集群中维护的元数据映射表,并基于最新的元数据映射表去更新对应的逻辑目标与卷的映射关系。
-
公开(公告)号:CN117519612B
公开(公告)日:2024-04-12
申请号:CN202410019858.6
申请日:2024-01-06
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 一种基于索引在线拼接的海量小文件存储方法,写入小文件时,按顺序写入缓存对象,在小文件索引中记录小文件与缓存对象的对应关系;当缓存对象大于设定缓存大小时,创建一个新的缓存对象,在新的缓存对象中继续写入;将完成缓存的缓存对象写入到对应的存储对象中,小文件索引中更新小文件与存储对象的对应关系,存储对象中的开始位置;释放对应的缓存对象空间;在日志模块中记录对缓存对象的操作以及本操作所关联的小文件信息。本发明,用掉电不丢失的存储盘来缓存小文件,提升了数据的安全性,用多个文件直接拼接成可以直接操作存储器件的空间,提升了写入效率,在底层,直接操作存储器件,提升了数据访问效能与数据安全性。
-
公开(公告)号:CN117519612A
公开(公告)日:2024-02-06
申请号:CN202410019858.6
申请日:2024-01-06
Applicant: 深圳市杉岩数据技术有限公司
IPC: G06F3/06
Abstract: 一种基于索引在线拼接的海量小文件存储方法,写入小文件时,按顺序写入缓存对象,在小文件索引中记录小文件与缓存对象的对应关系;当缓存对象大于设定缓存大小时,创建一个新的缓存对象,在新的缓存对象中继续写入;将完成缓存的缓存对象写入到对应的存储对象中,小文件索引中更新小文件与存储对象的对应关系,存储对象中的开始位置;释放对应的缓存对象空间;在日志模块中记录对缓存对象的操作以及本操作所关联的小文件信息。本发明,用掉电不丢失的存储盘来缓存小文件,提升了数据的安全性,用多个文件直接拼接成可以直接操作存储器件的空间,提升了写入效率,在底层,直接操作存储器件,提升了数据访问效能与数据安全性。
-
-
-
-
-
-
-
-
-