发明公开
- 专利标题: HDFS存储平台中的文件校验修复方法
-
申请号: CN202010435912.7申请日: 2020-05-21
-
公开(公告)号: CN111782623A公开(公告)日: 2020-10-16
- 发明人: 李坚 , 张振江 , 刘云 , 吴靖钦 , 李佳欣 , 魏丽君
- 申请人: 北京交通大学
- 申请人地址: 北京市海淀区西直门外上园村3号
- 专利权人: 北京交通大学
- 当前专利权人: 北京交通大学
- 当前专利权人地址: 北京市海淀区西直门外上园村3号
- 代理机构: 北京市商泰律师事务所
- 代理商 黄晓军
- 主分类号: G06F16/182
- IPC分类号: G06F16/182 ; G06F16/13 ; G06F11/14
摘要:
本发明提供了一种HDFS存储平台中的文件校验修复方法。包括:客户终端对文件数据进行分块处理后,生成并存储每个文件块的校验值,将各个文件块上传给HDFS存储平台,HDFS存储平台将一个文件块在多个数据节点上备份存储;客户终端向存储某个文件块的各个数据节点发送文件块校验请求,各个数据节点计算出某个文件块的校验值,并返回给客户终端;客户终端将各个数据节点返回的校验值和本地存储的校验值进行比对,根据比对结果确定数据节点上某个文件块的存储状态是否正常,通知存储状态为异常的数据节点对某个文件块进行修复。本发明通过将文件校验信息保存在客户终端本地,客户终端可在本地对HDFS所存文件进行可靠校验,而不需要留存整个文件副本。