一种I/O拥塞控制方法及控制系统

    公开(公告)号:CN109471847A

    公开(公告)日:2019-03-15

    申请号:CN201811083583.3

    申请日:2018-09-18

    Abstract: 本发明公开了一种I/O拥塞控制方法及系统,包括:在服务端获得当前观测时间戳下各节点上报的性能指标数据并预处理,作为观测数据;通过聚类分析得到当前负载类别,并由此将观测数据存储到重放数据库中;分别从重放数据库和观测数据中随机提取多条历史性能指标数据,以得到训练数据集;构建基于神经网络的回报奖励值计算模型,并利用训练数据集训练回报奖励值计算模型;选定一个调控动作,并利用回报奖励值计算模型计算相应的回报奖励值;重复此步骤,以获得最大的回报奖励值所对应的目标调控动作;将目标调控动作广播至所有节点,以由此设置各节点的参数。本发明能够在避免集群产生I/O拥塞,同时提高系统I/O吞吐率并降低可控I/O延迟。

    一种基于数据生存期的固态盘垃圾回收方法

    公开(公告)号:CN105204783B

    公开(公告)日:2018-12-07

    申请号:CN201510671242.8

    申请日:2015-10-13

    Abstract: 本发明公开了一种基于数据生存期的固态盘垃圾回收方法,包括:将固态盘划分为按数据生存期执行垃圾回收操作的区域Area_timegc和正常回收区域Area_normalgc,用递增时间标记T0、T1、…、TN‑1将Area_timegc细分为S1、S2、…、SN共N个子区间,子区间Sn是位于Tn‑1与Tn之间的区间,SN是TN‑1与T0之间的区间;向固态盘发出写请求时,文件系统记录待写数据的预期生存期限Tdeadline,将Tdeadline顺序与T0、T1、…、TN‑1作比较,若有满足条件Tn‑1 kTN‑1,则将数据写入Area_normalgc区域;对于区域Area_timegc,随着系统运行依次对其子区间S1、S2、…、SN执行基于时间的垃圾回收操作,且循环使用这N个子空间;对于Area_normalgc区域,执行已有的其他垃圾回收操作。

    一种基于协作的固态盘存储系统性能提高方法

    公开(公告)号:CN104933153B

    公开(公告)日:2018-04-10

    申请号:CN201510355787.8

    申请日:2015-06-24

    Abstract: 本发明公开了一种基于协作的固态盘存储系统性能提高方法,包括:将数据块分为热数据块和冷数据块,搜集垃圾回收信息,将垃圾回收信息传递到设备端的固态盘,固态盘接收垃圾回收信息并执行垃圾回收操作。本发明利用主机端和设备端的协作式垃圾回收来提高固态盘存储系统的性能。

    瓦记录感知文件系统中垃圾数据的回收方法和装置

    公开(公告)号:CN106293497A

    公开(公告)日:2017-01-04

    申请号:CN201510279079.0

    申请日:2015-05-27

    CPC classification number: G06F12/02

    Abstract: 本发明实施例涉及瓦记录感知文件系统中垃圾数据的回收方法和装置,该瓦记录感知文件系统包括主机端和设备端,该方法包括:该主机端在多个存储带中确定待回收存储带;该主机端确定该待回收存储带的类型,该待回收存储带的类型包括热存储带和冷存储带;该主机端根据该待回收存储带的类型,确定垃圾数据回收策略;该主机端向该设备端发送该垃圾数据回收策略,以便于该设备端根据该垃圾数据回收策略对该待回收存储带进行垃圾数据回收处理。本发明实施例的垃圾数据的回收方法和装置,能够避免DSAFS中垃圾回收无法获得上层应用的I/O访问及语义信息的不足,也避免了HSAFS中垃圾回收的数据拷贝对主机CPU的占用,能够提高垃圾回收效率。

    双控制器磁盘阵列的动态故障检测系统

    公开(公告)号:CN101465769A

    公开(公告)日:2009-06-24

    申请号:CN200910060553.5

    申请日:2009-01-16

    Abstract: 双控制器磁盘阵列的动态故障检测系统,属于计算机存储技术领域,解决现有故障检测系统需要大量的样本信息或者对样本要求满足特定概率分布,存储系统的负载较大,计算过程复杂、不稳定的问题。本发明由并行的主、从控制器构成,主、从控制器之间通过第二千兆以太网接口进行心跳故障检测,通过光纤通道适配器进行数据同步;主、从控制器上分别加载心跳模块、信息监控模块、故障切换模块和服务监控模块。本发明启动双心跳检测机制,以防止单心跳检测失效导致的单点故障问题;采用动态心跳设定机制,减少系统开销;故障切换和故障恢复的过程对于用户完全透明;各功能模块执行于应用层,系统易于实现和使用,具有较好的灵活性和可扩展性。

    一种磁盘阵列的数据重建方法

    公开(公告)号:CN101329641A

    公开(公告)日:2008-12-24

    申请号:CN200810047977.3

    申请日:2008-06-11

    Abstract: 一种磁盘阵列的数据重建方法,属于计算机数据存储方法,解决现有的磁盘阵列数据重建方法需要时间过多、影响存储系统的读写性能和可靠性的问题。本发明磁盘阵列上设置主控模块、读写处理模块和重建模块,包括初始化、日志位图表更新、基于日志的重建和结束步骤。本发明通过实时监控磁盘阵列的磁盘空间使用情况来指导数据重建过程,重建未被访问的空间时只需向新加入磁盘中相应的数据块内全部写入0,大大减少了重建带来的物理磁盘访问次数,加快了重建速度并且减少用户访问响应时间;本发明并未改变重建流程或磁盘阵列数据分布方式,可以很方便地优化各种传统的磁盘阵列重建方法,适用于构造具有高性能,高可用性和高可靠性的存储系统。

    一种超大容量的虚拟磁盘存储系统

    公开(公告)号:CN1862476A

    公开(公告)日:2006-11-15

    申请号:CN200610018831.7

    申请日:2006-04-19

    Abstract: 一种超大容量的虚拟磁盘存储系统,属于计算机存储技术领域,本发明通过SCSI总线或网络通信链路与开放系统主机通信,包括虚拟磁盘服务器和磁带库,所述虚拟磁盘服务器包括小型计算机系统接口适配器、处理器、磁盘阵列和存储器;存储器包括地址映射模块、命令转换模块、写回模块、缓存管理模块、读预取模块、虚拟存储模块和缓存模块;磁带库包括介质交换单元、磁带驱动器单元和存储单元;虚拟磁盘服务器和磁带库之间通过SCSI总线连接;本发明将传统顺序访问的磁带介质虚拟为可随机访问的磁盘驱动器,存储容量由磁带库存储容量决定、读写性能接近物理磁盘、虚拟了真实磁盘的物理特性、呈现给用户的是一块大硬盘。

    一种可扩展的基于对象的存储系统及其控制方法

    公开(公告)号:CN1728665A

    公开(公告)日:2006-02-01

    申请号:CN200510019166.9

    申请日:2005-07-26

    Abstract: 一种可扩展的基于对象的存储系统及其控制方法,属于计算机信息存储技术领域,目的在于克服现有海量存储系统的系统结构和用户服务模式的不足,将文件、块方式结合起来提出一种全新的对象接口。系统包括通过网络连接的I个元数据服务器、N个对象存储节点以及M个客户端;客户端、对象存储节点、元数据服务器之间实现三方通信,系统可扩展性强,系统存储容量与数据传输集合带宽可同步增长,并且,基于对象的存储使系统具有自适应能力。本发明改变了传统的数据管理和控制方式,对象存储节点OSN完成传统文件系统繁琐的底层数据管理功能,MS实施元数据管理。系统在对象存储的基础上实现了自适应的管理功能。

Patent Agency Ranking