一种SSD盘的亚健康管理与故障预测方法

    公开(公告)号:CN118567902A

    公开(公告)日:2024-08-30

    申请号:CN202411061994.8

    申请日:2024-08-05

    IPC分类号: G06F11/07 G06F18/243 G06F3/06

    摘要: 本发明属于存储技术领域,具体涉及一种SSD盘的亚健康管理与故障预测方法,首先对不同厂商提供不同配置文件,根据配置文件信息进行特征的提取和展示;然后根据SSD磁盘使用状态对SSD磁盘进行分类,并根据SSD磁盘的分类的不同类别分别进行SSD磁盘数据预处理以及动态和集成数据特征选择;再通过集成的改进Isolation forest模型对磁盘故障进行预测;最后将集成的改进Isolation forest模型预测出故障的SSD磁盘经过Sieve进行故障类型预测。通过上述方法使得对SSD磁盘的故障预测能够广泛应用于所有磁盘厂商,特征选择灵活性高,所用模型训练成本低,并且能够准确快速预测故障类型的缺陷。

    一种基于分布式存储的慢盘检测处理方法

    公开(公告)号:CN117806890A

    公开(公告)日:2024-04-02

    申请号:CN202410218994.8

    申请日:2024-02-28

    摘要: 本发明属于分布式存储磁盘检测技术领域,具体涉及一种基于分布式存储的慢盘检测处理方法,首先将各存储节点进行主、从节点划分,并且从节点定期向主节点进行注册;然后从主节点读取维护的各节点相关信息,通知各节点完成一定时间内的磁盘数据采集,汇总后完成一次数据收集过程;在达到一定数据量后,基于聚类算法对磁盘根据不同业务场景进行分组;再对各不同业务场景的分组中是否存在慢盘进行识别;最后采用积分的方式对慢盘情况进行累加,达到积分阈值识别为慢盘。通过上述慢盘检测的方法,能够有效提高慢盘识别的准确率,防止出现正常盘误识别为慢盘的情况出现。

    一种提高存储系统慢盘检测准确率的方法

    公开(公告)号:CN117194177A

    公开(公告)日:2023-12-08

    申请号:CN202311453193.1

    申请日:2023-11-03

    摘要: 本发明属于存储系统硬盘检测方法技术领域,具体涉及一种提高存储系统慢盘检测准确率的方法,首先建立延迟和吞吐量的比例的数据集,剔除数据集中的噪声条目,然后选择多项式回归模型描述“正常”硬盘的行为,并划定慢盘检测的变化范围,再标识慢盘事件,建立风险评分机制,最后根据风险评分机制计算每个慢盘事件的风险值,根据每个慢盘事件的风险值判定需要进行检查的慢盘。通过机器学习技术来建立模型,然后用模型数据适配原始数据,不再依赖经验值。极大地提高慢盘检测准确率,从而显著降低了硬盘所在节点或者集群的尾部延迟,使得具备较高的慢盘识别率和较低的慢盘召回率。

    一种SSD盘的亚健康管理与故障预测方法

    公开(公告)号:CN118567902B

    公开(公告)日:2024-10-15

    申请号:CN202411061994.8

    申请日:2024-08-05

    IPC分类号: G06F11/07 G06F18/243 G06F3/06

    摘要: 本发明属于存储技术领域,具体涉及一种SSD盘的亚健康管理与故障预测方法,首先对不同厂商提供不同配置文件,根据配置文件信息进行特征的提取和展示;然后根据SSD磁盘使用状态对SSD磁盘进行分类,并根据SSD磁盘的分类的不同类别分别进行SSD磁盘数据预处理以及动态和集成数据特征选择;再通过集成的改进Isolation forest模型对磁盘故障进行预测;最后将集成的改进Isolation forest模型预测出故障的SSD磁盘经过Sieve进行故障类型预测。通过上述方法使得对SSD磁盘的故障预测能够广泛应用于所有磁盘厂商,特征选择灵活性高,所用模型训练成本低,并且能够准确快速预测故障类型的缺陷。

    一种基于深度学习的图片视频存储方法

    公开(公告)号:CN118349529B

    公开(公告)日:2024-08-09

    申请号:CN202410782836.5

    申请日:2024-06-18

    摘要: 本发明属于图片视频存储技术领域,具体涉及一种基于深度学习的图片视频存储方法,首先将图片视频数据写入存储系统,并为图片视频数据附加相应的标签;其次存储系统针对附加标签后的图片视频数据进行周期性采样,并生成SRGAN Net Generator模型,通过采样数据进行该模型训练和保存;再针对采样范围内的图片视频数据进行压缩处理;再通过训练后的模型对压缩后的图片视频数据进行超分转换;最后对超分转换后的图片视频数据进行结构相似性评价,当结构相似性评价满足要求,再删除原始图片视频,否则保留原始图片视频。存储系统在压缩过程中能够根据不同场景动态调整超分因子,在保证需求的前提下最大限度地减少存储空间占用。

    一种分布式对象存储的数据恢复优化方法

    公开(公告)号:CN117851132B

    公开(公告)日:2024-05-07

    申请号:CN202410258304.1

    申请日:2024-03-07

    IPC分类号: G06F11/14 G06F11/10 G06F11/30

    摘要: 本发明涉及一种分布式对象存储的数据恢复优化方法,属于数据处理技术领域,本发明根据数据池的状态生成可写存储池集合,在部分数据存储池降级时,减少降级写入数据。从而减少需要恢复的数据,降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时,根据数据存储池的状态和可用容量进行分类,一部分数据存储池提供外部写服务,一部分数据存储池进行数据恢复。从物理资源上,对外部写请求和数据恢复进行了隔离,数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度,进行数据恢复的存储池可以长时间保持较高的恢复速度,缩短数据恢复的时间。

    一种通过SSD缩容提升存储系统可靠性的方法

    公开(公告)号:CN117149093B

    公开(公告)日:2024-03-26

    申请号:CN202311403803.7

    申请日:2023-10-27

    IPC分类号: G06F3/06

    摘要: 本发明属于提升存储可靠性技术领域,具体涉及一种通过SSD缩容提升存储系统可靠性的方法,通过在SSD硬盘闪存颗粒损坏达到OP预留比例时,对SSD硬盘进行缩容处理,修改SSD硬盘的容量,缩容处理后的SSD硬盘能够继续正常使用,剩余可用的NAND颗粒能够正常存储数据,存储于NAND颗粒上的数据也能够正常进行访问。通过缩小SSD硬盘容量的方法解决了SSD硬盘闪存颗粒损坏达到OP预留比例而无法正常使用的技术问题,有效提升了SSD硬盘颗粒的使用率,提升了闪存颗粒损坏数据重构的速率,减少了重构时间,同时有效增强分布式存储集群的可靠性。

    一种提高Ceph存储系统数据恢复速率的方法

    公开(公告)号:CN116302673B

    公开(公告)日:2023-08-22

    申请号:CN202310602070.3

    申请日:2023-05-26

    IPC分类号: G06F11/10 G06F11/14

    摘要: 本发明公开了一种提高Ceph存储系统数据恢复速率的方法,包括:PG中的OSD(n)对应硬盘发生故障时,对象跟踪模块检索包含OSD(n)所有PG,并检索每一个PG包含的对象,打上需要恢复的标签;OSD(n)对应硬盘发生故障期间,新写入对应PG的数据全部进行降级写入,根据数据写入的对象类型,直到完成数据写入;OSD状态正常后,对象跟踪模块选择设定数量的PG,将已经写入的对象数据启动重构恢复,对象数据恢复完毕后,清除掉需要恢复的标签;对每一个PG执行上述步骤,直到所有需要恢复对象重构完毕,完成数据恢复。本发明可以实现减少数据恢复时间,降低对业务的影响。

    一种基于深度学习的图片视频存储方法

    公开(公告)号:CN118349529A

    公开(公告)日:2024-07-16

    申请号:CN202410782836.5

    申请日:2024-06-18

    摘要: 本发明属于图片视频存储技术领域,具体涉及一种基于深度学习的图片视频存储方法,首先将图片视频数据写入存储系统,并为图片视频数据附加相应的标签;其次存储系统针对附加标签后的图片视频数据进行周期性采样,并生成SRGAN Net Generator模型,通过采样数据进行该模型训练和保存;再针对采样范围内的图片视频数据进行压缩处理;再通过训练后的模型对压缩后的图片视频数据进行超分转换;最后对超分转换后的图片视频数据进行结构相似性评价,当结构相似性评价满足要求,再删除原始图片视频,否则保留原始图片视频。存储系统在压缩过程中能够根据不同场景动态调整超分因子,在保证需求的前提下最大限度地减少存储空间占用。