用于分布式存储集群利用率100%的扩容方法、装置及系统

    公开(公告)号:CN115442388A

    公开(公告)日:2022-12-06

    申请号:CN202211294388.1

    申请日:2022-10-21

    摘要: 本发明提出一种用于分布式存储集群利用率100%的扩容方法、装置及系统,在扩容方法中,针对存储节点被写满的情况,将扩容辅助存储空间分为移动缓存空间和高频查询空间,基于选择的数据均衡方案进行数据均衡,在数据均衡过程中,当存储节点因为使用率100%而不能申请到空间时,在移动缓存空间内申请临时的空间,将需要均衡的数据块迁移到临时空间,并记录数据迁移的来源节点及目的节点,在存储集群的元数据中记录数据块此时位于移动缓存空间中,通过移动缓存空间辅助数据块的移动,通过高频查询空间对外提供数据查询服务。本发明借助扩容辅助存储空间,在存储节点被写满的情况下依然能够实现存储集群的扩容操作。

    系统异常重启下的缓存数据保护方法及系统

    公开(公告)号:CN115437853A

    公开(公告)日:2022-12-06

    申请号:CN202211386681.0

    申请日:2022-11-07

    摘要: 本发明提出一种系统异常重启下的缓存数据保护方法及系统,缓存数据保护方法包括如下步骤:S1、存储系统异常崩溃,设置内存进入自刷新模式,存储系统重新启动;S2、基本输入输出系统初始化内存,不对高速缓存部分进行重置;S3、检查高速缓存部分中是否存在缓存恢复标识,如果存在,进入S4,否则,进入S5;S4、根据缓存数据的特征参数对高速缓存部分进行缓存恢复;S5、初始化高速缓存部分;S6、高速缓存部分正常工作,维护缓存恢复标识。本发明提出的技术方案通过内存的自刷新模式避免高速缓存部分中的数据被重置,借助缓存数据的特征参数保证缓存恢复的准确性,能够实现缓存异常掉电保护。

    存储系统镜像数据传输过程中自适应压缩方法及系统

    公开(公告)号:CN115347902A

    公开(公告)日:2022-11-15

    申请号:CN202211264939.X

    申请日:2022-10-17

    IPC分类号: H03M7/30

    摘要: 本发明提出一种存储系统镜像数据传输过程中自适应压缩方法及系统,自适应压缩方法基于字典查询的思想,设置常规比较字典、高效比较字典和标准比较字典,借助MD5算法、SHA1算法和CRC32算法提取数据的特征,将数据的特征作为查询的索引,从常规比较字典、高效比较字典和标准比较字典中查询适合的压缩算法,能够减少算法选择过程中压缩算法的调用次数,提升压缩效率,并且,随着常规比较字典、高效比较字典和标准比较字典的不断完善,算法选择过程中压缩算法的调用次数会越来越少,压缩效率会进一步得到提升。

    一种提高大型分布式文件系统元数据访问效率的方法

    公开(公告)号:CN118410008A

    公开(公告)日:2024-07-30

    申请号:CN202410867534.8

    申请日:2024-07-01

    IPC分类号: G06F16/13 G06F16/182

    摘要: 本发明提供了一种提高大型分布式文件系统元数据访问效率的方法,涉及数据管理技术领域。本发明首先通过元数据解耦分区管理环节将每个目录的访问元数据与其父目录分组,将内容元数据与其子目录分组,从而实现元数据的高局部性;其次通过可预测文件路径构建环节为每个目录分配一个可预测的ID,客户端可以推测文件全路径里所有中间目录的ID,然后为路径上的每一个单元并行发送查找操作,大大减少了元数据操作的延迟;最后通过元数据目录协调缓存环节在客户端缓存目录的访问型元数据,以就地解决对根目录的频繁查找,并且在元数据服务器上非主动地使缓存条目无效,从而缓解根热点并实现了可扩展的路径解析。

    存储系统的性能优化方法
    25.
    发明公开

    公开(公告)号:CN118051188A

    公开(公告)日:2024-05-17

    申请号:CN202410432480.2

    申请日:2024-04-11

    IPC分类号: G06F3/06 G06F11/30 G06F11/34

    摘要: 本发明属于存储系统性能优化技术领域,具体涉及存储系统的性能优化方法,首先将代理部署于存储系统,创建存储系统运行环境,初始化价值表,输入存储系统的状态到价值表;然后从存储系统的状态和调优动作对应的价值表中,选取最优的动作执行;再观察执行最优的动作后存储系统的状态和主机侧App性能,并返回动作执行后的新的状态和评估奖励给代理;代理结合存储系统的新的状态、评估的奖励和主机侧App性能状态共同评判,对价值表进行更新;最后将新的状态作为下一个状态,选择动作并执行该动作,对存储系统进行循环调优。此调优过程能够在业务场景变化的情况下自动调整到最优的方案,并且能够避免性能调优过程可能严重恶化主机侧App使用的情况发生。

    一种分布式对象存储的数据恢复优化方法

    公开(公告)号:CN117851132A

    公开(公告)日:2024-04-09

    申请号:CN202410258304.1

    申请日:2024-03-07

    IPC分类号: G06F11/14 G06F11/10 G06F11/30

    摘要: 本发明涉及一种分布式对象存储的数据恢复优化方法,属于数据处理技术领域,本发明根据数据池的状态生成可写存储池集合,在部分数据存储池降级时,减少降级写入数据。从而减少需要恢复的数据,降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时,根据数据存储池的状态和可用容量进行分类,一部分数据存储池提供外部写服务,一部分数据存储池进行数据恢复。从物理资源上,对外部写请求和数据恢复进行了隔离,数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度,进行数据恢复的存储池可以长时间保持较高的恢复速度,缩短数据恢复的时间。