一种基于深度学习的图片视频存储方法

    公开(公告)号:CN118349529A

    公开(公告)日:2024-07-16

    申请号:CN202410782836.5

    申请日:2024-06-18

    摘要: 本发明属于图片视频存储技术领域,具体涉及一种基于深度学习的图片视频存储方法,首先将图片视频数据写入存储系统,并为图片视频数据附加相应的标签;其次存储系统针对附加标签后的图片视频数据进行周期性采样,并生成SRGAN Net Generator模型,通过采样数据进行该模型训练和保存;再针对采样范围内的图片视频数据进行压缩处理;再通过训练后的模型对压缩后的图片视频数据进行超分转换;最后对超分转换后的图片视频数据进行结构相似性评价,当结构相似性评价满足要求,再删除原始图片视频,否则保留原始图片视频。存储系统在压缩过程中能够根据不同场景动态调整超分因子,在保证需求的前提下最大限度地减少存储空间占用。

    存储系统的性能优化方法

    公开(公告)号:CN118051188B

    公开(公告)日:2024-07-12

    申请号:CN202410432480.2

    申请日:2024-04-11

    IPC分类号: G06F3/06 G06F11/30 G06F11/34

    摘要: 本发明属于存储系统性能优化技术领域,具体涉及存储系统的性能优化方法,首先将代理部署于存储系统,创建存储系统运行环境,初始化价值表,输入存储系统的状态到价值表;然后从存储系统的状态和调优动作对应的价值表中,选取最优的动作执行;再观察执行最优的动作后存储系统的状态和主机侧App性能,并返回动作执行后的新的状态和评估奖励给代理;代理结合存储系统的新的状态、评估的奖励和主机侧App性能状态共同评判,对价值表进行更新;最后将新的状态作为下一个状态,选择动作并执行该动作,对存储系统进行循环调优。此调优过程能够在业务场景变化的情况下自动调整到最优的方案,并且能够避免性能调优过程可能严重恶化主机侧App使用的情况发生。

    一种存储系统在数据冗余不足时抢救有效数据的方法

    公开(公告)号:CN117608500A

    公开(公告)日:2024-02-27

    申请号:CN202410090640.X

    申请日:2024-01-23

    IPC分类号: G06F3/06

    摘要: 本发明提供了一种存储系统在数据冗余不足时抢救有效数据的方法,涉及数据管理技术领域。本发明针对存储系统中的存储池、存储池中的文件系统(NAS)、存储池中的桶(OBS)可以设置需要进行抢救的数据类型,包含通过常见的文件格式、视频格式,也包含用户自行定义的标签,设置后可以选择该功能是否生效、以及生效的时间段;用户往存储系统写数据时,针对图片、视频可以不添加抢救标签,系统能够自动识别数据为图片、视频进行抢救;针对其他定制化数据则需要附带上对应的数据标签;针对图片、视频、以及用户定制化的数据类型,在存储系统数据冗余度不足时,尽可能的抢救有效数据;因此,具备实用性和推广价值。

    一种提高大型分布式文件系统元数据访问效率的方法

    公开(公告)号:CN118410008A

    公开(公告)日:2024-07-30

    申请号:CN202410867534.8

    申请日:2024-07-01

    IPC分类号: G06F16/13 G06F16/182

    摘要: 本发明提供了一种提高大型分布式文件系统元数据访问效率的方法,涉及数据管理技术领域。本发明首先通过元数据解耦分区管理环节将每个目录的访问元数据与其父目录分组,将内容元数据与其子目录分组,从而实现元数据的高局部性;其次通过可预测文件路径构建环节为每个目录分配一个可预测的ID,客户端可以推测文件全路径里所有中间目录的ID,然后为路径上的每一个单元并行发送查找操作,大大减少了元数据操作的延迟;最后通过元数据目录协调缓存环节在客户端缓存目录的访问型元数据,以就地解决对根目录的频繁查找,并且在元数据服务器上非主动地使缓存条目无效,从而缓解根热点并实现了可扩展的路径解析。

    存储系统的性能优化方法

    公开(公告)号:CN118051188A

    公开(公告)日:2024-05-17

    申请号:CN202410432480.2

    申请日:2024-04-11

    IPC分类号: G06F3/06 G06F11/30 G06F11/34

    摘要: 本发明属于存储系统性能优化技术领域,具体涉及存储系统的性能优化方法,首先将代理部署于存储系统,创建存储系统运行环境,初始化价值表,输入存储系统的状态到价值表;然后从存储系统的状态和调优动作对应的价值表中,选取最优的动作执行;再观察执行最优的动作后存储系统的状态和主机侧App性能,并返回动作执行后的新的状态和评估奖励给代理;代理结合存储系统的新的状态、评估的奖励和主机侧App性能状态共同评判,对价值表进行更新;最后将新的状态作为下一个状态,选择动作并执行该动作,对存储系统进行循环调优。此调优过程能够在业务场景变化的情况下自动调整到最优的方案,并且能够避免性能调优过程可能严重恶化主机侧App使用的情况发生。

    一种分布式对象存储的数据恢复优化方法

    公开(公告)号:CN117851132A

    公开(公告)日:2024-04-09

    申请号:CN202410258304.1

    申请日:2024-03-07

    IPC分类号: G06F11/14 G06F11/10 G06F11/30

    摘要: 本发明涉及一种分布式对象存储的数据恢复优化方法,属于数据处理技术领域,本发明根据数据池的状态生成可写存储池集合,在部分数据存储池降级时,减少降级写入数据。从而减少需要恢复的数据,降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时,根据数据存储池的状态和可用容量进行分类,一部分数据存储池提供外部写服务,一部分数据存储池进行数据恢复。从物理资源上,对外部写请求和数据恢复进行了隔离,数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度,进行数据恢复的存储池可以长时间保持较高的恢复速度,缩短数据恢复的时间。

    一种SSD盘的亚健康管理与故障预测方法

    公开(公告)号:CN118567902A

    公开(公告)日:2024-08-30

    申请号:CN202411061994.8

    申请日:2024-08-05

    IPC分类号: G06F11/07 G06F18/243 G06F3/06

    摘要: 本发明属于存储技术领域,具体涉及一种SSD盘的亚健康管理与故障预测方法,首先对不同厂商提供不同配置文件,根据配置文件信息进行特征的提取和展示;然后根据SSD磁盘使用状态对SSD磁盘进行分类,并根据SSD磁盘的分类的不同类别分别进行SSD磁盘数据预处理以及动态和集成数据特征选择;再通过集成的改进Isolation forest模型对磁盘故障进行预测;最后将集成的改进Isolation forest模型预测出故障的SSD磁盘经过Sieve进行故障类型预测。通过上述方法使得对SSD磁盘的故障预测能够广泛应用于所有磁盘厂商,特征选择灵活性高,所用模型训练成本低,并且能够准确快速预测故障类型的缺陷。

    一种提高存储系统慢盘检测准确率的方法

    公开(公告)号:CN117194177A

    公开(公告)日:2023-12-08

    申请号:CN202311453193.1

    申请日:2023-11-03

    摘要: 本发明属于存储系统硬盘检测方法技术领域,具体涉及一种提高存储系统慢盘检测准确率的方法,首先建立延迟和吞吐量的比例的数据集,剔除数据集中的噪声条目,然后选择多项式回归模型描述“正常”硬盘的行为,并划定慢盘检测的变化范围,再标识慢盘事件,建立风险评分机制,最后根据风险评分机制计算每个慢盘事件的风险值,根据每个慢盘事件的风险值判定需要进行检查的慢盘。通过机器学习技术来建立模型,然后用模型数据适配原始数据,不再依赖经验值。极大地提高慢盘检测准确率,从而显著降低了硬盘所在节点或者集群的尾部延迟,使得具备较高的慢盘识别率和较低的慢盘召回率。

    一种存储系统在数据冗余不足时抢救有效数据的方法

    公开(公告)号:CN117608500B

    公开(公告)日:2024-03-29

    申请号:CN202410090640.X

    申请日:2024-01-23

    IPC分类号: G06F3/06

    摘要: 本发明提供了一种存储系统在数据冗余不足时抢救有效数据的方法,涉及数据管理技术领域。本发明针对存储系统中的存储池、存储池中的文件系统(NAS)、存储池中的桶(OBS)可以设置需要进行抢救的数据类型,包含通过常见的文件格式、视频格式,也包含用户自行定义的标签,设置后可以选择该功能是否生效、以及生效的时间段;用户往存储系统写数据时,针对图片、视频可以不添加抢救标签,系统能够自动识别数据为图片、视频进行抢救;针对其他定制化数据则需要附带上对应的数据标签;针对图片、视频、以及用户定制化的数据类型,在存储系统数据冗余度不足时,尽可能的抢救有效数据;因此,具备实用性和推广价值。

    一种通过SSD缩容提升存储系统可靠性的方法

    公开(公告)号:CN117149093A

    公开(公告)日:2023-12-01

    申请号:CN202311403803.7

    申请日:2023-10-27

    IPC分类号: G06F3/06

    摘要: 本发明属于提升存储可靠性技术领域,具体涉及一种通过SSD缩容提升存储系统可靠性的方法,通过在SSD硬盘闪存颗粒损坏达到OP预留比例时,对SSD硬盘进行缩容处理,修改SSD硬盘的容量,缩容处理后的SSD硬盘能够继续正常使用,剩余可用的NAND颗粒能够正常存储数据,存储于NAND颗粒上的数据也能够正常进行访问。通过缩小SSD硬盘容量的方法解决了SSD硬盘闪存颗粒损坏达到OP预留比例而无法正常使用的技术问题,有效提升了SSD硬盘颗粒的使用率,提升了闪存颗粒损坏数据重构的速率,减少了重构时间,同时有效增强分布式存储集群的可靠性。