针对分布式文件系统的元数据预取系统及方法

    公开(公告)号:CN113688113A

    公开(公告)日:2021-11-23

    申请号:CN202110859541.X

    申请日:2021-07-28

    IPC分类号: G06F16/182 G06F16/14

    摘要: 本发明提供了一种针对分布式文件系统的元数据预取系统及方法,包括功能层级框架,功能层级框架还包括客户端层面和元数据服务器层面;客户端层面包括客户端缓存层,客户端缓存层提取、更新和同步文件相关特征,提供对文件相关特征操作的支持;元数据服务器层面包括元数据服务器缓存层,元数据服务器缓存层负责存储和同步文件相关特征,执行文件元数据操作。本发明提取文件相关特征,借助提取的特征进行元数据预取,缩小预取范围、提高预取准确率;通过预取方法提前将其关联文件的元数据预取到客户端,缩短关联文件的元数据存取流程,减少系统中元数据请求的数目,大幅提升分布式文件系统中元数据的存取性能,实现分布式文件系统整体性能提升。

    多模态数据存储管理的方法及系统

    公开(公告)号:CN115587082A

    公开(公告)日:2023-01-10

    申请号:CN202211240474.4

    申请日:2022-10-11

    摘要: 本发明提供了一种多模态数据存储管理的方法及系统,包括:对多源异构数据进行统一描述;获得统一结构的元数据,提取各异构数据的特征,再分析和存储,将多源异构数据的特征串联;将高效访问机制建立在分布式文件系统的客户端/服务器模式架构基础之上,设计客户端缓存层和服务器端缓存层,提供两阶段的存取性能加速;通过对文件元数据进行分析、预取和缓存操作,减少系统中元数据的访问请求数量,得到在分布式文件系统中优化元数据的访问过程和元数据访问效率。本发明在管理多源异构数据的同时还能完成历史数据的有效累积,实现对多源异构数据的统一描述,为多源数据提供一体化数据存储、访问服务,进一步促进数据综合治理系统的优化。

    自主高端存储阵列系统架构

    公开(公告)号:CN112333283B

    公开(公告)日:2022-12-13

    申请号:CN202011310689.X

    申请日:2020-11-20

    摘要: 本发明提供了一种自主高端存储阵列系统架构,应用于包括客户端、控制器和硬盘的系统中,架构包括:NVMe固态存储硬盘模块,用于使控制器通过NVMe over TCP协议访问远端的NVMe设备;NVMe over TCP模块,用于使控制器通过TCP网络访问远端的NVMe设备;对象存储服务模块,用于进行对象数据的自主数据复制、数据恢复、数据迁移;数据交互模块,用于提供存储池和对象的创建、删除操作接口;监控模块,用于与向客户端和/或对象存储服务建立交互,并向客户端和/或对象存储服务提供更新的集群表。从而有效地提高了面对海量数据冲击时对数据的快速存储,并提供纠删码、多冗余等机制保障数据的准确性。

    自主高端存储阵列系统架构

    公开(公告)号:CN112333283A

    公开(公告)日:2021-02-05

    申请号:CN202011310689.X

    申请日:2020-11-20

    IPC分类号: H04L29/08 G06F11/30

    摘要: 本发明提供了一种自主高端存储阵列系统架构,应用于包括客户端、控制器和硬盘的系统中,架构包括:NVMe固态存储硬盘模块,用于使控制器通过NVMe over TCP协议访问远端的NVMe设备;NVMe over TCP模块,用于使控制器通过TCP网络访问远端的NVMe设备;对象存储服务模块,用于进行对象数据的自主数据复制、数据恢复、数据迁移;数据交互模块,用于提供存储池和对象的创建、删除操作接口;监控模块,用于与向客户端和/或对象存储服务建立交互,并向客户端和/或对象存储服务提供更新的集群表。从而有效地提高了面对海量数据冲击时对数据的快速存储,并提供纠删码、多冗余等机制保障数据的准确性。