公开(公告)号：CN113282571A

公开(公告)日：2021-08-20

申请号：CN202110578578.5

申请日：2021-05-26

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F16/21

摘要： 本公开提供了一种数据转移方法、装置、电子设备和存储介质，涉及数据存储技术领域。具体实现方案为：确定待置换的源设备，获取设备映射表，其中，映射表中包含待置换的源设备和目标设备的对应关系，确定源设备中存在待恢复的元数据情况下，根据设备映射表和待置换的源设备，生成第一元数据恢复任务，将第一元数据恢复任务发送至源设备，以使得源设备根据第一元数据恢复任务将对应的数据转移至对应的目标设备，本申请中调度端根据设备映射表中各存储的待置换的源设备，和替换源设备的目标设备间的对应关系，触发转移任务，以使得源设备将数据转移至对应的目标设备，实现了自动进行待替换设备的数据转移，提高了数据转移的效率。

公开(公告)号：CN111142790A

公开(公告)日：2020-05-12

申请号：CN201911261724.0

申请日：2019-12-10

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06 ,  G06F12/02

摘要： 本发明公开了一种对磁盘写请求的控制方法，包括：获取当前时间片内各个类型的写请求模块对磁盘的所有写请求；根据所有写请求的总写入量与预设的磁盘写能力，确定下一时间片内接收到的控制型写请求的写入量；将确定的写入量发送至对应的控制型写请求模块。本发明可以提高控制型写请求的写入速度，加快磁盘空间的回收。

公开(公告)号：CN116560583A

公开(公告)日：2023-08-08

申请号：CN202310610789.1

申请日：2023-05-26

申请人： 北京金山云网络技术有限公司 ,  武汉金山云信息技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06

摘要： 本申请提供了一种支持追加写操作的存储方法和装置、电子设备和存储介质，其中，该方法包括：获取用户通过至少一次追加写操作上传的至少一个待存储数据块；根据每个待存储数据块的数据量对至少一个待存储数据块按照预设的数据量上限进行对齐，得到对齐后数据块，并在对象存储系统中对对齐后数据块通过第一存储操作进行存储；在存在互补数据块组的情况下，将每组互补数据块组整合成重组数据块，并在对象存储系统对重组数据块通过第二存储操作进行存储，其中，每个互补数据块组中包括多个互不相同的第一对齐后数据块，且每个互补数据块组的总数据量为数据量上限。通过本申请，解决了相关技术中存在的对象存储的存储方式存在读写放大的技术问题。

公开(公告)号：CN111142790B

公开(公告)日：2023-07-07

申请号：CN201911261724.0

申请日：2019-12-10

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06 ,  G06F12/02

摘要： 本发明公开了一种对磁盘写请求的控制方法，包括：获取当前时间片内各个类型的写请求模块对磁盘的所有写请求；根据所有写请求的总写入量与预设的磁盘写能力，确定下一时间片内接收到的控制型写请求的写入量；将确定的写入量发送至对应的控制型写请求模块。本发明可以提高控制型写请求的写入速度，加快磁盘空间的回收。

公开(公告)号：CN115344422A

公开(公告)日：2022-11-15

申请号：CN202211043477.9

申请日：2022-08-29

申请人： 北京金山云网络技术有限公司

发明人： 甘红星 ,  卢智华

IPC分类号： G06F11/10

摘要： 本发明公开了一种纠删块副本到三副本双向映射方法、装置以及电子设备。该方法包括：获取三副本存储的三副本数据的多个目标数据块，其中，多个目标数据块为对三副本数据中的一份数据进行分块得到的多个数据块；将多个目标数据块中的每一块数据块作为当前数据块，对当前数据块进行纠删编码操作，得到M块子数据块与N块子校验块；将M块子数据块与N块子校验块写入三副本存储对应的纠删副本中；写入成功后，将当前数据块在三副本存储和纠删副本的正向映射关系和反向映射关系写入到磁盘中。本发明解决了纠删编码过程中没有反向映射关系的技术问题。

公开(公告)号：CN114415970A

公开(公告)日：2022-04-29

申请号：CN202210298450.8

申请日：2022-03-25

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06 ,  G06F11/07

摘要： 本发明提供了一种分布式存储系统的磁盘故障处理方法、装置及服务器，涉及计算机的技术领域，包括：当检测到触发数据块异常事件时，向管理节点发送数据块异常事件对应的第一移除命令，以移除管理节点内存储的故障数据块对应的数据块信息；接收管理节点发送的第二移除命令；移除数据节点内存储的故障数据块对应的数据块信息，并基于故障数据块对应的存储副本屏蔽故障数据块。本发明可以显著降低数据块故障的影响范围，降低了磁盘故障的处理力度，而且有效降低了数据恢复操作和数据均衡操作的频率。

公开(公告)号：CN112988683A

公开(公告)日：2021-06-18

申请号：CN202110169340.7

申请日：2021-02-07

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F16/174 ,  G06F16/182 ,  G06F16/901 ,  G06F11/10

摘要： 本发明提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：客户端对待存储至分布式存储系统的原始数据进行纠删码编码，得到对应的数据块，向分布式存储系统的元数据服务器发送数据上传请求，以得到用于存储数据块的目标存储节点的存储位置信息，基于存储位置信息将数据块存储至目标存储节点。本方案在客户端中对待存储至分布式存储系统的数据进行纠删码处理，得到数据块，直接将数据块存储至分布式存储系统中，相比于现有的分布式存储系统先进行三副本存储，再进行纠删码处理，本方案数据存储所占用的空间更少，且无需维护两份索引，存储成本更低。

公开(公告)号：CN111104069A

公开(公告)日：2020-05-05

申请号：CN201911330470.3

申请日：2019-12-20

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本发明公开了一种分布式存储系统的多区域数据处理方法、装置、电子设备及计算机可读存储介质。该方法包括：在接收到数据写请求时，将所述数据写入到位于第一区域的第一存储服务器中以得到所述数据的主副本；将所述主副本的数据分别同步到位于所述第一区域的第二存储服务器和第三存储服务器中，以分别得到所述数据的从副本和临时副本；以及将所述临时副本的数据同步到位于第二区域的第四存储服务器中，以得到所述数据的延迟副本。本发明能够以较低的经济成本和存储成本实现多区域的功能。

公开(公告)号：CN115373890A

公开(公告)日：2022-11-22

申请号：CN202110547653.1

申请日：2021-05-19

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F11/10

摘要： 本申请涉及一种数据的读取方法、装置、存储介质和电子装置，其中，该方法包括：接收数据读取请求，其中，数据读取请求用于请求从分布式数据存储系统中读取目标数据，目标数据是分布式数据存储系统通过多个分布式数据存储服务器存储的数据中的部分数据；从多个分布式数据存储服务器中，目标数据所对应的目标服务器上读取数据；根据从目标服务器上读取的数据确定目标数据；响应数据读取请求发送目标数据。本申请解决了读取数据的过程造成了大量的网络资源浪费的技术问题。

公开(公告)号：CN114415970B

公开(公告)日：2022-06-17

申请号：CN202210298450.8

申请日：2022-03-25

申请人： 北京金山云网络技术有限公司

发明人： 甘红星

IPC分类号： G06F3/06 ,  G06F11/07

摘要： 本发明提供了一种分布式存储系统的磁盘故障处理方法、装置及服务器，涉及计算机的技术领域，包括：当检测到触发数据块异常事件时，向管理节点发送数据块异常事件对应的第一移除命令，以移除管理节点内存储的故障数据块对应的数据块信息；接收管理节点发送的第二移除命令；移除数据节点内存储的故障数据块对应的数据块信息，并基于故障数据块对应的存储副本屏蔽故障数据块。本发明可以显著降低数据块故障的影响范围，降低了磁盘故障的处理力度，而且有效降低了数据恢复操作和数据均衡操作的频率。