-
公开(公告)号:CN116302667A
公开(公告)日:2023-06-23
申请号:CN202211435358.8
申请日:2022-11-16
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
发明人: 余礼杨
摘要: 本发明实施例涉及存储技术领域,公开了一种数据存储方法、装置、设备及计算机存储介质,其中所述方法包括:将待存储数据进行分离处理,得到待存储数据的元数据和内容数据,并将所述待存储数据的元数据存储在scylladb集群中,将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片,N为不小于3的正整数,向N个单副本池,发送所述N个纠删码分片;其中,所述N个单副本池与所述N个纠删码分片一一对应,所述N个单副本池属于至少两个rados集群。通过上述方式,本发明实施例能够避免容易出现数据无法被访问的情况,提高云存储系统的可用性。
-
公开(公告)号:CN113760840B
公开(公告)日:2024-05-07
申请号:CN202010486788.7
申请日:2020-06-01
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
摘要: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN112583760A
公开(公告)日:2021-03-30
申请号:CN201910923474.6
申请日:2019-09-27
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
摘要: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
公开(公告)号:CN116775701A
公开(公告)日:2023-09-19
申请号:CN202211513141.4
申请日:2022-11-28
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/2455 , G06F16/901 , G06F16/903
摘要: 本申请提供了一种数据存储方法、装置及设备,应用于服务端,包括:接收客户端发送的存储位置查询请求,存储位置查询请求携带有待处理数据的键值信息;待处理数据至少包括一个键值信息;基于存储位置查询请求,在已构建的双向冗余链表中确定键值信息对应的目标存储分片;已构建的双向冗余链表表征处于各个存储分片中的各个键值信息按照双向冗余链的形式进行链接,双向冗余链表包括目标存储分片对应的标签信息;根据目标存储分片的标签信息,确定待处理数据的第一存储位置信息,并将第一存储位置信息发送至客户端,供客户端对待处理数据进行查询或者存储处理。本申请能够提高数据存储的可扩展性以及持久化能力,从而提高数据存储效率。
-
公开(公告)号:CN115525207A
公开(公告)日:2022-12-27
申请号:CN202110706381.5
申请日:2021-06-24
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
发明人: 余礼杨
IPC分类号: G06F3/06
摘要: 本发明提供了一种数据处理方法及装置、存储介质,服务器基于加载的结构体与多个存储池集群建立通信连接;结构体表征多个存储池集群中的多个存储池与存储属性信息之间的对应关系;响应接收到的数据存储请求,遍历结构体,确定与数据存储请求对应匹配的目标存储池;数据存储请求携带了待处理数据及对应的数据属性信息;将待处理数据通过与目标存储池所属存储池集群的通信连接分配给目标存储池进行存储,首先通过加载结构体并建立和多个集群的通信连接,在处理大量数据时可以在多个存储池中选择待存储数据对应的任一个存储池集群中的目标存储池进行存储,有效的提高了大量数据处理时的效率。
-
公开(公告)号:CN113760840A
公开(公告)日:2021-12-07
申请号:CN202010486788.7
申请日:2020-06-01
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
摘要: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN114816229A
公开(公告)日:2022-07-29
申请号:CN202110127479.5
申请日:2021-01-29
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F3/06
摘要: 本申请公开了一种分布式存储方法、装置及系统、电子设备及存储介质。所述分布式存储方法可包括:将第一数据存储在分布式存储系统中的至少一个存储节点;根据所述第一数据的存储位置,确定所述第一数据的数据索引,其中,所述数据索引为所述第一数据的元数据的组成部分;根据哈希规则,从所述分布式存储系统中选择存储所述元数据的存储节点;将所述元数据存储到选择的所述存储节点中。如此,实现对目标数据存储位置的灵活选择,降低单点故障处理成本。
-
公开(公告)号:CN112583760B
公开(公告)日:2022-05-31
申请号:CN201910923474.6
申请日:2019-09-27
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: H04L9/40 , H04L67/1042 , H04L67/1097
摘要: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
公开(公告)号:CN109697385A
公开(公告)日:2019-04-30
申请号:CN201710985895.2
申请日:2017-10-20
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
摘要: 本申请涉及图像处理技术领域,尤其涉及一种目标跟踪方法及装置,用以解决现有技术中图像跟踪方法易丢失跟踪目标的问题;本申请实施例提供的目标跟踪方法包括:利用核相关滤波器确定跟踪目标在获取的视频流中第一帧图像中的外观模型;基于外观模型和视频流中与第一帧图像相邻、且拍摄时间较晚的第二帧图像的图像特征,确定跟踪目标在第二帧图像中各候选区域的概率分布函数;若根据概率分布函数确定跟踪目标在第二帧图像中被遮挡,则对视频流中拍摄时间晚于第二帧图像的每一图像,利用粒子滤波器搜寻跟踪目标在该图像中的所在区域,根据该区域的图像特征确定跟踪目标在该图像中不再被遮挡时,停止搜寻并基于该区域的图像特征更新外观模型。
-
-
-
-
-
-
-
-