分布式存储系统的访问控制方法及分布式存储系统

    公开(公告)号:CN113630450A

    公开(公告)日:2021-11-09

    申请号:CN202110845558.X

    申请日:2021-07-26

    Inventor: 文刘飞 周磊 陈坚

    Abstract: 本发明涉及数据存储管理技术领域,提供一种分布式存储系统的访问控制方法及分布式存储系统,所述分布式存储系统包括多台存储服务器和至少两个网关,所述方法通过多台存储服务器的后台对象存储目标逻辑卷的访问控制信息;基于订阅/通知机制,控制所述至少两个网关中与所述目标逻辑卷关联的网关在所述后台对象中注册网关信息,结合网关内置定时器定时拉取信息的机制,能够实现分布式存储系统的SCSI访问控制。

    基于分布式存储系统的目标器重命名方法及装置

    公开(公告)号:CN113377714A

    公开(公告)日:2021-09-10

    申请号:CN202110661804.6

    申请日:2021-06-15

    Abstract: 本发明实施例涉及一种基于分布式存储系统的目标器重命名方法及装置,在逻辑目标器中,将逻辑名和服务名作为逻辑目标的一个属性记录,并通过增加逻辑目标器中逻辑名与服务名的映射,使得逻辑名与服务名被保存到同一个对象的不同的映射表中;并且,在存储集群中,仍然以逻辑目标器的逻辑名与客户端、块存储客户端和SCS I网关建立映射关系。在逻辑目标器重命名时,实际上是对逻辑目标器中逻辑名与服务名的映射关系的添加及修改,只需要向底层数据库下发一次写请求,即仅需要对一个对象的逻辑名与服务名的映射进行数据库配置操作,保障了数据的一致性,且有效提高重命名效率。

    一种对象存储系统实现稀疏写的方法、装置及电子设备

    公开(公告)号:CN113204554A

    公开(公告)日:2021-08-03

    申请号:CN202110511634.3

    申请日:2021-05-11

    Abstract: 本发明公开了一种对象存储系统实现稀疏写的方法,可以在对象任意位置写入任意长度的数据,写入的数据不要求具有连续性,支持随机写,稀疏写,支持数据修改。并且,本发明提供的方法中对象存储系统,其实通过记录已写的数据及定位信息,且在目标对象写完成时,计算出空白数据段及其空白对象分片,并创建空白对象分片,在读的时候会用数据零补齐返回,最终实现对象存储系统的数据稀疏写入,进而避免了数据读/写放大问题,也无需对待存储的数据进行迁移或转移,从而能有效的提高对象存储系统的性能。

    基于对象存储分片上传的对象传送及收集方法、终端设备

    公开(公告)号:CN112866409A

    公开(公告)日:2021-05-28

    申请号:CN202110184218.7

    申请日:2021-02-08

    Inventor: 陈坚 王东 邱尚高

    Abstract: 本发明公开了一种基于对象存储分片上传的对象传送及收集方法、终端设备,该对象传送方法包括:发送对象初始化请求,接收对象标识;将对象切分成分片,写入数据,发送分片上传请求;接收分片数据;发送分片上传完成请求;发送修改对象数据请求,接收待修改分片区间,使用待修改分片区间重新上传分片,使用新的分片数据覆盖旧的数据,当新数据上传完成,再次发送分片上传完成请求。实现了分片上传大对象过程中对象可见,直接以上传新分片方式来覆盖修改对象数据,而无需再重新上传整个对象来更新修改,节省修改时间,节约资源,从而解决上传过程对象不可见及修改不便的问题。

    对象存储批量读取及写入方法、客户端、存储网关及介质

    公开(公告)号:CN113126920B

    公开(公告)日:2025-02-07

    申请号:CN202110361851.9

    申请日:2021-04-02

    Abstract: 本发明实施例涉及一种对象存储批量读取及写入方法、客户端和存储网关,所述读取方法应用于客户端、存储网关,所述读取方法使得客户端可以从存储网关读取至少一个指定对象的指定范围的分片数据,实现批量读取,避免客户端与存储网关的多次交互;所述写入方法应用于客户端、存储网关,所述写入方法能够实现至少一个对象及分片数据的全部写入或部分写入,实现海量对象的写入,能有效降低客户端与存储网关的交互次数。本发明实施例,通过提供基于POST请求的批量读写接口,减少客户端与存储网关间的请求交互次数,提高读写效率,降低客户端资源消耗。

    一种高可靠性数据服务系统与方法

    公开(公告)号:CN119363670A

    公开(公告)日:2025-01-24

    申请号:CN202411572605.8

    申请日:2024-11-06

    Abstract: 一种高可靠性数据服务系统,包括两个以上的令牌消耗节点组,令牌消耗节点组包括令牌消耗节点组A和令牌消耗节点组B、高可靠性服务质量管理集群、两个以上存储节点;令牌消耗节点组包括令牌生成节点,至少一个令牌消耗节点;令牌生成节点包括令牌生成模块、总令牌桶;令牌消耗节点包括本地令牌桶;令牌消耗节点周期性从所述总令牌桶中领取令牌,存储在本地令牌桶;令牌消耗节点在本地令牌桶领取令牌。

    基于索引的海量小文件存储方法和系统

    公开(公告)号:CN119148944A

    公开(公告)日:2024-12-17

    申请号:CN202411594313.4

    申请日:2024-11-09

    Abstract: 一种基于索引的海量小文件存储方法和系统中,写入小文件时,缓存进程按顺序写入缓存对象,在缓存对象索引中增加缓存对象的缓存小文件数量;小文件索引中记录小文件的大小,存储的开始位置;写入小文件时;小文件索引中记录小文件的大小,存储的开始位置;数据老化度统计进程统计缓存对象中数据缓存的时间长度,获得每个缓存对象的数据老化度,数据老化度等于缓存对象中数据写入的时长;后端存储进程K锁定老化时间大于设定的缓存对象;后端存储进程K将锁定的数据,写入到后端大对象中,小文件索引中更新小文件与后端大对象的对应关系。

    一种分布式键值数据库列数据和统计系统与方法

    公开(公告)号:CN119003534A

    公开(公告)日:2024-11-22

    申请号:CN202411473436.2

    申请日:2024-10-22

    Inventor: 文刘飞 金强 陈坚

    Abstract: 一种分布式键值数据库列数据和统计系统和方法中,包括两个以上数据存储服务器、统计服务器;数据存储服务器中包括数据分片基础统计值管理模块;数据分片基础统计值管理模块用于管理基础统计值,基础统计值与数据分片对应;数据分片统计值变化管理模块用于管理统计变化值,统计变化值与数据分片对应,统计变化值用于记录数据列的变化统计和;本申请将“超大规模数据列表的一个列数据的统计和”计算操作,分解成各个数据存储数据分片的局部计算,汇总获得整个数据的统计和,改变成为各个数据存储数据分片中基础统计值与统计变化值的和,大幅度提升了人工智能或大规模数据库的运行效率,大幅度降低耗电量。

    一种基于令牌的分布式存储系统、网关和方法

    公开(公告)号:CN115622715A

    公开(公告)日:2023-01-17

    申请号:CN202211436844.1

    申请日:2022-11-16

    Inventor: 文刘飞 高科 陈坚

    Abstract: 为解决分布式存储中ODX令牌处理的性能问题,本发明提出一种基于令牌的分布式存储系统、网关和方法:包括客户端、存储网关节点、两个以上的分布式存储节点;分布式存储节点分别与存储网关节信号连接;源数据存储网关节点对需要复制的数据的读写控制信息进行加密处理;将加密后的读写控制信息放入令牌数据中,存储网关节点将所述令牌发送给所述客户端;客户端将所述令牌发送给复制数据的目标存储网关节点,目标存储网关节点接收到所述令牌数据后,解密所述加密后的读写控制信息;存储网关节点建立合法访问关系,根据所述读写控制信息复制数据。通过将加密后的令牌直接发送给所述客户端,不需要存储网关节点做实时令牌同步。

    基于分布式存储系统的磁盘优化方法及装置

    公开(公告)号:CN114579062A

    公开(公告)日:2022-06-03

    申请号:CN202210465590.X

    申请日:2022-04-29

    Inventor: 周磊 文刘飞 陈坚

    Abstract: 本发明实施例涉及一种基于分布式存储系统的磁盘优化方法及装置,在接收到WRITE_SAME请求命令时,且确定后端管理主进程和备进程后,只将WRITE_SAME命令及所述模板参数传递给后端管理备进程,避免传递前拓展模板而造成带宽占用,从而减小网络损耗,同时利用位图结构作为元数据信息存储磁盘分片的数据写入情况,在厚置备的填0操作时,仅修改位图进行占位,避免磁盘的数据0写入消耗;实现轻量级持久化。

Patent Agency Ranking