-
公开(公告)号:CN113326006A
公开(公告)日:2021-08-31
申请号:CN202110670284.5
申请日:2021-06-17
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
摘要: 本发明涉及一种基于纠删码的分布式块存储系统,包括块访问客户端、元数据服务集群和存储服务器集群,其中,该块访问客户端接收上层应用请求,基于纠删码配置策略将所述上层应用请求转化为对后端存储对象的读写请求;该存储服务器集群包括多个存储服务节点,接收并响应所述读写请求;该元数据服务集群监视所有存储服务节点状态,形成集群状态;各所述存储服务节点采用三层分布式哈希算法逻辑进行数据分布。与现有技术相比,本发明不仅能提供不输于副本存储系统的吞吐量性能,在节点/磁盘故障、扩容等异常场景对前端应用的读写请求性能的影响很小。
-
公开(公告)号:CN111581020B
公开(公告)日:2024-03-19
申请号:CN202010319993.4
申请日:2020-04-22
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F11/14 , H04L67/1097
摘要: 本发明涉及一种分布式块存储系统中数据恢复的方法和装置,所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群,所述存储服务集群包括多个存储服务节点,所述方法包括以下步骤:1)实时监听集群状态,在监听到集群异常时执行步骤2);2)判断是否延迟重构,若是,则延迟设定时间后执行步骤3),若否,则直接执行步骤3);3)构建待恢复数据对象列表;4)根据所述待恢复数据对象列表进行数据恢复;各存储服务节点并行执行上述数据恢复的步骤。与现有技术相比,本发明具有可提高数据恢复速度,并降低数据恢复对前端应用性能影响等优点。
-
公开(公告)号:CN110611613A
公开(公告)日:2019-12-24
申请号:CN201910927910.7
申请日:2019-09-27
申请人: 上海天玑数据技术有限公司 , 上海天玑科技股份有限公司
IPC分类号: H04L12/703 , H04L12/707 , H04L12/713 , H04L12/715 , H04L12/803
摘要: 本发明涉及一种基于网络设备的多路径路由方法及装置,该方法包括:S1:在存储节点内建立层次结构,该层次结构由上到下依次为网络设备集、网络设备和网络端口;S2:创建连接两个网络设备集的网络设备之间和网络端口之间的虚拟路径;S3:按照不同路径选择策略确定虚拟路径,通过网络端口之间的虚拟路径包含的逻辑数据链路传输数据;步骤S3所述路径选择策略具体为:若网络设备集或网络设备共享并发性能,则网络设备集或网络设备采用Failover模式,若网络设备集或网络设备的并发性能各自独立,则网络设备或网络端口采用Round robin模式。与现有技术相比,本发明具有等负载均衡、高可用等优点。
-
公开(公告)号:CN109327539A
公开(公告)日:2019-02-12
申请号:CN201811359816.8
申请日:2018-11-15
申请人: 上海天玑数据技术有限公司 , 上海天玑科技股份有限公司
IPC分类号: H04L29/08
摘要: 本发明涉及一种分布式块存储系统及其数据路由方法,存储系统包括通过存储网络分别连接的块存储访问客户端、存储服务器集群和元数据服务集群,其中,块存储访问客户端用于接收上层应用读写请求,并将该上层应用读写请求转化为对不同副本的存储对象的并行读写请求;存储服务器集群包括多个存储服务节点,用于存储数据,并响应并行读写请求;元数据服务集群用于存储所述存储服务器集群的集群配置信息,并监视存储服务器集群的实时状态;该分布式块存储系统采用分布式哈希算法进行数据分布,将存储卷的所有数据对象均匀分布到所有存储服务节点中。与现有技术相比,本发明具有降低读写请求链路传输延时,提高分布式存储系统性能等优点。
-
公开(公告)号:CN113312300B
公开(公告)日:2024-05-03
申请号:CN202110670041.1
申请日:2021-06-17
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F15/173 , G06F3/06
摘要: 本发明涉及一种融合数据传输和存储的非易失内存缓存方法,通过RDMA技术,在网络传输过程中直接访问服务端节点的非易失内存数据,基于数据请求以及缓存资源与硬盘空间的映射关系,执行相应缓存操作。与现有技术相比,本发明在整个存储系统访问过程中,零内存拷贝;建立读/写分离的缓存体系,读缓存采用线性映射方式,写缓存采用日志方式;在缓存脏数据交换到后端硬盘时,可以去除重复写入请求,排序、合并随机写入请求,具有高速、高性能的优点。
-
公开(公告)号:CN116166196A
公开(公告)日:2023-05-26
申请号:CN202310173041.X
申请日:2023-02-28
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F3/06
摘要: 本发明涉及一种分布式存储系统中存储池扩缩容恢复方法及装置,所述方法包括以下步骤:获取扩缩容请求,将存储池设置为维护模式,判断当前存储池是否满足允许扩缩容条件,若是,则执行扩缩容操作,若否,则反馈操作失败信号;完成所述扩缩容操作后,存储池内的所有存储节点基于更新后的集群视图,采用两层一致性静态哈希环分布算法,完成数据重平衡。与现有技术相比,本发明扩缩容过程中始终保持可用数据副本/分片不减少,从而实现存储池不降级,数据迁移过程对前端读写请求的影响最小化。
-
公开(公告)号:CN110611613B
公开(公告)日:2021-12-21
申请号:CN201910927910.7
申请日:2019-09-27
申请人: 上海天玑数据技术有限公司 , 上海天玑科技股份有限公司
IPC分类号: H04L12/703 , H04L12/707 , H04L12/713 , H04L12/715 , H04L12/803
摘要: 本发明涉及一种基于网络设备的多路径路由方法及装置,该方法包括:S1:在存储节点内建立层次结构,该层次结构由上到下依次为网络设备集、网络设备和网络端口;S2:创建连接两个网络设备集的网络设备之间和网络端口之间的虚拟路径;S3:按照不同路径选择策略确定虚拟路径,通过网络端口之间的虚拟路径包含的逻辑数据链路传输数据;步骤S3所述路径选择策略具体为:若网络设备集或网络设备共享并发性能,则网络设备集或网络设备采用Failover模式,若网络设备集或网络设备的并发性能各自独立,则网络设备或网络端口采用Round robin模式。与现有技术相比,本发明具有等负载均衡、高可用等优点。
-
公开(公告)号:CN113312300A
公开(公告)日:2021-08-27
申请号:CN202110670041.1
申请日:2021-06-17
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F15/173 , G06F3/06
摘要: 本发明涉及一种融合数据传输和存储的非易失内存缓存方法,通过RDMA技术,在网络传输过程中直接访问服务端节点的非易失内存数据,基于数据请求以及缓存资源与硬盘空间的映射关系,执行相应缓存操作。与现有技术相比,本发明在整个存储系统访问过程中,零内存拷贝;建立读/写分离的缓存体系,读缓存采用线性映射方式,写缓存采用日志方式;在缓存脏数据交换到后端硬盘时,可以去除重复写入请求,排序、合并随机写入请求,具有高速、高性能的优点。
-
公开(公告)号:CN118567569A
公开(公告)日:2024-08-30
申请号:CN202410778288.9
申请日:2024-06-17
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F3/06
摘要: 本发明涉及一种分布式块存储系统存储锁实现方法及系统,所述方法包括:接收应用锁指令,解析应用锁指令,根据预先存储的分布式存储集群的集群状态信息,将应用锁指令转化为分布式存储内部对存储卷或存储对象对应偏移位置的锁请求,并发送给对应的存储卷或存储对象的主存储节点;在接收主存储节点反馈的锁处理结果后,根据锁处理结果判断是否成功实现存储锁;在锁处理结果为锁处理成功时,主存储节点根据锁的最新配置及权限设置对后续同一个存储卷来自不同客户端的读写请求进行访问控制。与现有技术相比,本发明减少了一层存储协议转换所带来的性能损耗以及存储链路损耗,在具有更高的存储访问性能的同时,实现了共享存储架构的存储锁支持。
-
公开(公告)号:CN118260023A
公开(公告)日:2024-06-28
申请号:CN202410370004.2
申请日:2024-03-29
申请人: 上海天玑科技股份有限公司 , 上海天玑数据技术有限公司
IPC分类号: G06F9/455 , G06F11/14 , H04L67/1095
摘要: 本发明涉及一种基于共识策略的虚拟机故障恢复方法及存储介质,所述方法应用于分布式集群的主节点中,所述主节点为分布式集群中选举产生的唯一计算节点,该方法包括以下步骤:主节点为每个计算节点分别创建一第一计时器,每隔t1时长判断是否接收到各计算节点的心跳和对应的活动虚拟机列表,若是,则设置第一计时器重新计时,根据各计算节点的活动虚拟机列表更新各虚拟机状态,定期检测所有虚拟机状态,对状态为Crashed的虚拟机进行故障恢复,选择新的在线计算节点分配资源并重新启动该虚拟机;若否,且第一计时器到达t2超时值,则将运行在对应计算节点上的虚拟机标记为故障Crashed状态。与现有技术相比,本发明具有适用性强,可靠性高等优点。
-
-
-
-
-
-
-
-
-