基于日志文件系统的非易失内存构建磁盘cache的方法及系统

    公开(公告)号:CN111414320A

    公开(公告)日:2020-07-14

    申请号:CN202010104313.7

    申请日:2020-02-20

    摘要: 本发明提供了一种基于日志文件系统的非易失内存构建磁盘cache的方法及系统,包括:非易失内存cache包括非易失内存数据cache和非易失内存元数据cache;在非易失内存cache的初始化阶段,检查非易失内存中设置的关机标记,当检查到不是正常关机时,则非易失内存cache执行故障恢复操作保证系统一致性;在非易失内存cache的初始化完成后,在数据cache执行数据提交,在元数据cache执行元数据提交操作,在非易失内存cache的存储空间不足时,由数据cache执行数据回写操作,由元数据cache执行元数据回写操作;本发明避免数据的双重写,减少元数据的写放大,提高系统整体性能。

    基于日志文件系统的非易失内存构建磁盘cache的方法及系统

    公开(公告)号:CN111414320B

    公开(公告)日:2023-06-06

    申请号:CN202010104313.7

    申请日:2020-02-20

    摘要: 本发明提供了一种基于日志文件系统的非易失内存构建磁盘cache的方法及系统,包括:非易失内存cache包括非易失内存数据cache和非易失内存元数据cache;在非易失内存cache的初始化阶段,检查非易失内存中设置的关机标记,当检查到不是正常关机时,则非易失内存cache执行故障恢复操作保证系统一致性;在非易失内存cache的初始化完成后,在数据cache执行数据提交,在元数据cache执行元数据提交操作,在非易失内存cache的存储空间不足时,由数据cache执行数据回写操作,由元数据cache执行元数据回写操作;本发明避免数据的双重写,减少元数据的写放大,提高系统整体性能。

    基于RDMA与非易失性内存的基数树访问系统

    公开(公告)号:CN111400306A

    公开(公告)日:2020-07-10

    申请号:CN202010104445.X

    申请日:2020-02-20

    IPC分类号: G06F16/22 G06F16/245

    摘要: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。

    基于RDMA与非易失性内存的基数树访问系统

    公开(公告)号:CN111400306B

    公开(公告)日:2023-03-28

    申请号:CN202010104445.X

    申请日:2020-02-20

    IPC分类号: G06F16/22 G06F16/245

    摘要: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。

    持久内存文件系统元数据的检索方法和装置、存储结构

    公开(公告)号:CN113010477A

    公开(公告)日:2021-06-22

    申请号:CN202110310068.X

    申请日:2021-03-23

    IPC分类号: G06F16/14 G06F16/13

    摘要: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。

    持久内存文件系统元数据的检索方法和装置、存储结构

    公开(公告)号:CN113010477B

    公开(公告)日:2023-09-12

    申请号:CN202110310068.X

    申请日:2021-03-23

    IPC分类号: G06F16/14 G06F16/13

    摘要: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。

    存储系统页内脏数据索引方法和装置

    公开(公告)号:CN108427648B

    公开(公告)日:2023-12-01

    申请号:CN201710080651.X

    申请日:2017-02-14

    摘要: 本发明公开了一种存储系统页内脏数据索引方法装置,该方法包括:获取存储页的存储点的点数量以及脏数据分布信息;根据点数量和脏数据分布信息创建位图;根据脏数据分布信息创建扩展段集合,并获取扩展段集合中扩展段的当前扩展段个数;根据点数量,获取目标存储页以位图索引脏数据的第一存储代价;根据当前扩展段个数和段容量,获取目标存储页以扩展段索引脏数据的第二存储代价;根据第一存储代价和第二存储代价,确定基于位图方式或扩展段方式索引目标存储页中的脏数据。本发明降低了写入数据量,降低了同步操作的延时,间接提高了系统的性能,同时也降低了闪存设备的磨损,提高了闪存设备的使用寿命。