一种高可用分布式网关系统与管理方法

    公开(公告)号:CN117294655A

    公开(公告)日:2023-12-26

    申请号:CN202311585658.9

    申请日:2023-11-27

    Abstract: 一种高可用分布式网关系统和管理方法中,包括两个以上的存储节点、两个以上的网关节点、网关管理服务器;上述网关节点与上述存储节点电信号连接,网关节点与网关管理服务器电信号连接;至少两个网关节点上包括令牌桶管理单元;令牌桶管理单元包括令牌桶模块、令牌桶参数上报模块;网关节点获取令牌后处理业务流量;网关管理服务器包括节点服务质量监控模块;令牌桶参数上报模块与节点服务质量监控模块电信号相通;令牌桶参数上报模块周期性将令牌桶模块的运行状态上报给节点服务质量监控模块。节点服务质量监控模块周期性获得各个令牌桶的状态,就能够监控整个网络的流量实时状态,给调度整个网络的流量奠定了基础。

    实现存储网关高可用分布式QOS的方法

    公开(公告)号:CN116455830A

    公开(公告)日:2023-07-18

    申请号:CN202310719527.9

    申请日:2023-06-16

    Abstract: 一种实现存储网关高可用分布式QOS的方法,包括如下步骤:高可用集群记录令牌控制中心的信息,并定期收集、维护各存储网关的状态;基于各存储网关的状态和令牌控制中心的信息,选出一个存储网关负责运行令牌控制中心,令牌控制中心按配置生成令牌;每个存储网关收到用户的请求后,从其本地令牌桶中获取令牌,若令牌不足则等待;每个存储网关间隔性地检测其本地令牌数量,当本地令牌数量小于设定阈值时向令牌控制中心申请令牌;令牌控制中心根据各存储网关近期的需求为各个存储网关按比例分配令牌。本方法不但支持高可用,而且能自适应存储节点数的变化,保证QOS限制能在分布式的存储网关上全局生效,提升QOS可持续性和准确性。

    一种基于分布式存储的卷数据在线迁移方法

    公开(公告)号:CN115145497B

    公开(公告)日:2022-11-29

    申请号:CN202211081206.2

    申请日:2022-09-06

    Abstract: 本发明提供一种基于分布式存储的卷数据在线迁移方法,包括如下步骤:迁移准备阶段:接收迁移指令,根据迁移指令获取和创建迁移任务及目标卷,并在线建立源卷与目标卷间的在线迁移关系,并悬挂IO,将已接收业务请求全部调度执行后,在线修改IO调度策略,再解除悬挂IO,使得业务能够被正确路由至源卷或目标卷上执行,保证业务的持续在线;迁移数据阶段:将源卷所有数据对象按序迁移至目标卷,按序更新迁移进度,以支持断点续传;迁移完成阶段:删除源卷和迁移任务;本发明在迁移数据期间将业务写请求仅路由至目标卷写入,有效避免业务数据同步写源卷和目标卷而导致的写放大和存储系统资源的浪费。

    一种分布式数据存储系统与方法

    公开(公告)号:CN114415976B

    公开(公告)日:2022-07-01

    申请号:CN202210313064.1

    申请日:2022-03-28

    Abstract: 一种分布式数据存储系统,包括:网络、至少3个存储节点;业务层读写单元接收到写入数据请求,业务层读写模块根据写入数据请求所关联的文件名称信息读取本地元数据信息,为每个写请求分配一个新的版本号,判读本次写入是否为覆盖写;业务层读写单元将所述数据分片与元数据信息分别发送给K+M个存储节点,元数据信息中包括文件名称信息、数据分片编号、版本号;存储节点接收到元数据信息与数据分片,存储节点将数据分片写入SSD缓存盘,形成临时缓存数据;业务层读写单元收到K+M个数据分片成功写入缓存成功消息后,业务层读写单元返回成功写入数据的响应;存储节点接收写入成功的消息后,将所述临时缓存数据转成正常缓存数据。

    一种分布式数据存储系统与方法

    公开(公告)号:CN114415976A

    公开(公告)日:2022-04-29

    申请号:CN202210313064.1

    申请日:2022-03-28

    Abstract: 一种分布式数据存储系统,包括:网络、至少3个存储节点;业务层读写单元接收到写入数据请求,业务层读写模块根据写入数据请求所关联的文件名称信息读取本地元数据信息,为每个写请求分配一个新的版本号,判读本次写入是否为覆盖写;业务层读写单元将所述数据分片与元数据信息分别发送给K+M个存储节点,元数据信息中包括文件名称信息、数据分片编号、版本号;存储节点接收到元数据信息与数据分片,存储节点将数据分片写入SSD缓存盘,形成临时缓存数据;业务层读写单元收到K+M个数据分片成功写入缓存成功消息后,业务层读写单元返回成功写入数据的响应;存储节点接收写入成功的消息后,将所述临时缓存数据转成正常缓存数据。

    一种数据存储设备、方法与分布式数据存储系统

    公开(公告)号:CN113868192B

    公开(公告)日:2022-04-08

    申请号:CN202111467385.9

    申请日:2021-12-03

    Inventor: 文刘飞 陈坚

    Abstract: 一种数据存储设备,具备高一致性,包括:读写控制单元、重定向缓存单元、存储单元;读写控制单元包括数据写入管理模块、元数据管理模块、日志管理模块、元数据数据库、元数据缓存模块、日志存储模块;重定向缓存单元包括缓存管理模块、SSD缓存盘、索引缓存模块、索引存储模块;数据写入管理模块收到数据写入请求;缓存管理模块在缓存空间写入请求中的数据;如果写入请求中的数据是初次写,标记该数据为正常缓存数据;对于覆盖写进行重新定向;把缓存映射和本次写入请求相关的元数据一起组成一个日志数据,日志管理模块将日志数据写入日志存储模块,然后再把元数据更新到元数据缓存模块,日志写入日志存储模块为原子操作。

    基于定长块的数据存储实现方法和计算机可读存储介质

    公开(公告)号:CN113721861B

    公开(公告)日:2022-02-08

    申请号:CN202111279988.6

    申请日:2021-11-01

    Abstract: 本发明公开基于定长块的数据存储实现方法:以定长块为单元分配磁盘空间;收到写请求后若为快照后的第一个写请求则把数据对象中定长块转为共享块并把共享块信息加入数据对象的共享链,结合写请求的快照序列号创建对应快照对象并复制数据对象的共享链;根据写请求的数据地址确认对应定长块是否已分配,若否,则分配定长块并初始化位图;共享链的深度是否超过阈值,若超,通过共享链读取对应的共享数据并和写请求的数据合并,写入定长块并更新位图,否则根据写请求的数据地址写入定长块并更新位图;对比定长块的位图和其共享链中共享块的位图,去掉没有数据依赖关系的共享块,并对该共享块的引用计数减1;若减1后其计数为0释放该共享块磁盘空间。

    分布式存储的非对称逻辑单元访问多路径实现方法及系统

    公开(公告)号:CN113489784A

    公开(公告)日:2021-10-08

    申请号:CN202110755683.1

    申请日:2021-07-05

    Inventor: 文刘飞 田庸 陈坚

    Abstract: 本发明公开一种分布式存储的非对称逻辑单元访问多路径实现方法及系统,该方法包括:数据集群保存SCSI网关、目标器和逻辑卷关系视图;启动SCSI网关,当目标器关联SCSI网关或逻辑卷关联目标器或SCSI网关检测路径出现异常,通知元数据集群;元数据集群更新相应元数据信息,把更新后信息同步给SCSI网关;SCSI网关间相互发送心跳,当检测到路径异常上报给元数据集群,元数据集群决策SCSI网关故障后更新元数据信息,把更新信息同步给SCSI网关;SCSI网关接收同步信息,若路径状态发送变化,修改对应逻辑卷路径状态。本发明通过元数据集群管理SCSI网关、目标器和逻辑卷关系视图,实现非对称逻辑单元路径选择。

    一种基于分布式日志的小文件合并空间回收方法

    公开(公告)号:CN119166605B

    公开(公告)日:2025-02-18

    申请号:CN202411665044.6

    申请日:2024-11-20

    Abstract: 本发明提出了一种基于分布式日志的小文件合并空间回收方法。在小文件覆盖写或删除时,主节点通过索引信息确定受影响的聚合对象和区间,生成空间回收日志记录待回收空间。所述日志随后同步至从节点,并由后台线程筛选整理,按聚合对象粒度进行空间回收操作,包括执行数据清零操作释放区间,并在回收完成后更新进度信息。为应对节点故障,本发明还包括日志异常恢复流程,确保选出操作日志最全的存储进程作为权威存储进程,并以其日志为准进行恢复,保证数据一致性。该方法通过分布式日志和后台线程处理,提高了小文件合并后的空间回收效率,优化了存储资源使用,降低了成本,并增强了系统的稳定性和可靠性。

    一种极冷对象存储系统、访问和管理方法

    公开(公告)号:CN119311699A

    公开(公告)日:2025-01-14

    申请号:CN202411864081.X

    申请日:2024-12-18

    Abstract: 极冷对象存储系统、访问和管理方法中,极冷对象索引层包括存储设备,存储设备用于保存极冷对象索引;冷对象数据层包括存储设备C1,用于保存极冷对象数据;极冷对象元数据层包括存储设备D1,用于保存极冷对象元数据;极冷对象索引包括极冷对象的名称或编号与极冷对象元数据保存的存储设备D1位置信息;极冷对象元数据中,包括极冷对象名称或编号与极冷对象数据的存储设备C1的位置信息;存储设备C1为磁带存储设备,存储设备D1为磁带存储设备;在极冷对象索引中根据名称或编号找到极冷对象元数据保存的存储设备D1位置信息;获得极冷对象元数据后,获得极冷对象数据的存储设备D1位置信息;再到存储设备D1获得极冷对象数据。

Patent Agency Ranking