-
公开(公告)号:CN118567902A
公开(公告)日:2024-08-30
申请号:CN202411061994.8
申请日:2024-08-05
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F11/07 , G06F18/243 , G06F3/06
摘要: 本发明属于存储技术领域,具体涉及一种SSD盘的亚健康管理与故障预测方法,首先对不同厂商提供不同配置文件,根据配置文件信息进行特征的提取和展示;然后根据SSD磁盘使用状态对SSD磁盘进行分类,并根据SSD磁盘的分类的不同类别分别进行SSD磁盘数据预处理以及动态和集成数据特征选择;再通过集成的改进Isolation forest模型对磁盘故障进行预测;最后将集成的改进Isolation forest模型预测出故障的SSD磁盘经过Sieve进行故障类型预测。通过上述方法使得对SSD磁盘的故障预测能够广泛应用于所有磁盘厂商,特征选择灵活性高,所用模型训练成本低,并且能够准确快速预测故障类型的缺陷。
-
公开(公告)号:CN117806890A
公开(公告)日:2024-04-02
申请号:CN202410218994.8
申请日:2024-02-28
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F11/22 , G06F11/30 , G06F18/2321
摘要: 本发明属于分布式存储磁盘检测技术领域,具体涉及一种基于分布式存储的慢盘检测处理方法,首先将各存储节点进行主、从节点划分,并且从节点定期向主节点进行注册;然后从主节点读取维护的各节点相关信息,通知各节点完成一定时间内的磁盘数据采集,汇总后完成一次数据收集过程;在达到一定数据量后,基于聚类算法对磁盘根据不同业务场景进行分组;再对各不同业务场景的分组中是否存在慢盘进行识别;最后采用积分的方式对慢盘情况进行累加,达到积分阈值识别为慢盘。通过上述慢盘检测的方法,能够有效提高慢盘识别的准确率,防止出现正常盘误识别为慢盘的情况出现。
-
公开(公告)号:CN117194177A
公开(公告)日:2023-12-08
申请号:CN202311453193.1
申请日:2023-11-03
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F11/30 , G06F11/34 , G06F18/10 , G06F18/2321 , G06F18/27
摘要: 本发明属于存储系统硬盘检测方法技术领域,具体涉及一种提高存储系统慢盘检测准确率的方法,首先建立延迟和吞吐量的比例的数据集,剔除数据集中的噪声条目,然后选择多项式回归模型描述“正常”硬盘的行为,并划定慢盘检测的变化范围,再标识慢盘事件,建立风险评分机制,最后根据风险评分机制计算每个慢盘事件的风险值,根据每个慢盘事件的风险值判定需要进行检查的慢盘。通过机器学习技术来建立模型,然后用模型数据适配原始数据,不再依赖经验值。极大地提高慢盘检测准确率,从而显著降低了硬盘所在节点或者集群的尾部延迟,使得具备较高的慢盘识别率和较低的慢盘召回率。
-
-
公开(公告)号:CN118567902B
公开(公告)日:2024-10-15
申请号:CN202411061994.8
申请日:2024-08-05
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F11/07 , G06F18/243 , G06F3/06
摘要: 本发明属于存储技术领域,具体涉及一种SSD盘的亚健康管理与故障预测方法,首先对不同厂商提供不同配置文件,根据配置文件信息进行特征的提取和展示;然后根据SSD磁盘使用状态对SSD磁盘进行分类,并根据SSD磁盘的分类的不同类别分别进行SSD磁盘数据预处理以及动态和集成数据特征选择;再通过集成的改进Isolation forest模型对磁盘故障进行预测;最后将集成的改进Isolation forest模型预测出故障的SSD磁盘经过Sieve进行故障类型预测。通过上述方法使得对SSD磁盘的故障预测能够广泛应用于所有磁盘厂商,特征选择灵活性高,所用模型训练成本低,并且能够准确快速预测故障类型的缺陷。
-
公开(公告)号:CN118349529B
公开(公告)日:2024-08-09
申请号:CN202410782836.5
申请日:2024-06-18
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F16/174 , G06F16/51 , G06F16/71 , G06T9/00 , G06N3/0475 , G06N3/045
摘要: 本发明属于图片视频存储技术领域,具体涉及一种基于深度学习的图片视频存储方法,首先将图片视频数据写入存储系统,并为图片视频数据附加相应的标签;其次存储系统针对附加标签后的图片视频数据进行周期性采样,并生成SRGAN Net Generator模型,通过采样数据进行该模型训练和保存;再针对采样范围内的图片视频数据进行压缩处理;再通过训练后的模型对压缩后的图片视频数据进行超分转换;最后对超分转换后的图片视频数据进行结构相似性评价,当结构相似性评价满足要求,再删除原始图片视频,否则保留原始图片视频。存储系统在压缩过程中能够根据不同场景动态调整超分因子,在保证需求的前提下最大限度地减少存储空间占用。
-
公开(公告)号:CN117851132B
公开(公告)日:2024-05-07
申请号:CN202410258304.1
申请日:2024-03-07
申请人: 四川省华存智谷科技有限责任公司
摘要: 本发明涉及一种分布式对象存储的数据恢复优化方法,属于数据处理技术领域,本发明根据数据池的状态生成可写存储池集合,在部分数据存储池降级时,减少降级写入数据。从而减少需要恢复的数据,降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时,根据数据存储池的状态和可用容量进行分类,一部分数据存储池提供外部写服务,一部分数据存储池进行数据恢复。从物理资源上,对外部写请求和数据恢复进行了隔离,数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度,进行数据恢复的存储池可以长时间保持较高的恢复速度,缩短数据恢复的时间。
-
公开(公告)号:CN117149093B
公开(公告)日:2024-03-26
申请号:CN202311403803.7
申请日:2023-10-27
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F3/06
摘要: 本发明属于提升存储可靠性技术领域,具体涉及一种通过SSD缩容提升存储系统可靠性的方法,通过在SSD硬盘闪存颗粒损坏达到OP预留比例时,对SSD硬盘进行缩容处理,修改SSD硬盘的容量,缩容处理后的SSD硬盘能够继续正常使用,剩余可用的NAND颗粒能够正常存储数据,存储于NAND颗粒上的数据也能够正常进行访问。通过缩小SSD硬盘容量的方法解决了SSD硬盘闪存颗粒损坏达到OP预留比例而无法正常使用的技术问题,有效提升了SSD硬盘颗粒的使用率,提升了闪存颗粒损坏数据重构的速率,减少了重构时间,同时有效增强分布式存储集群的可靠性。
-
公开(公告)号:CN116302673B
公开(公告)日:2023-08-22
申请号:CN202310602070.3
申请日:2023-05-26
申请人: 四川省华存智谷科技有限责任公司
摘要: 本发明公开了一种提高Ceph存储系统数据恢复速率的方法,包括:PG中的OSD(n)对应硬盘发生故障时,对象跟踪模块检索包含OSD(n)所有PG,并检索每一个PG包含的对象,打上需要恢复的标签;OSD(n)对应硬盘发生故障期间,新写入对应PG的数据全部进行降级写入,根据数据写入的对象类型,直到完成数据写入;OSD状态正常后,对象跟踪模块选择设定数量的PG,将已经写入的对象数据启动重构恢复,对象数据恢复完毕后,清除掉需要恢复的标签;对每一个PG执行上述步骤,直到所有需要恢复对象重构完毕,完成数据恢复。本发明可以实现减少数据恢复时间,降低对业务的影响。
-
公开(公告)号:CN118349529A
公开(公告)日:2024-07-16
申请号:CN202410782836.5
申请日:2024-06-18
申请人: 四川省华存智谷科技有限责任公司
IPC分类号: G06F16/174 , G06F16/51 , G06F16/71 , G06T9/00 , G06N3/0475 , G06N3/045
摘要: 本发明属于图片视频存储技术领域,具体涉及一种基于深度学习的图片视频存储方法,首先将图片视频数据写入存储系统,并为图片视频数据附加相应的标签;其次存储系统针对附加标签后的图片视频数据进行周期性采样,并生成SRGAN Net Generator模型,通过采样数据进行该模型训练和保存;再针对采样范围内的图片视频数据进行压缩处理;再通过训练后的模型对压缩后的图片视频数据进行超分转换;最后对超分转换后的图片视频数据进行结构相似性评价,当结构相似性评价满足要求,再删除原始图片视频,否则保留原始图片视频。存储系统在压缩过程中能够根据不同场景动态调整超分因子,在保证需求的前提下最大限度地减少存储空间占用。
-
-
-
-
-
-
-
-
-