- 专利标题: 一种分布式基础框架中的数据存取方法及装置
-
申请号: CN202010247815.5申请日: 2020-04-01
-
公开(公告)号: CN111694791B公开(公告)日: 2023-03-31
- 发明人: 史宁宁 , 户蕾蕾 , 于胜强
- 申请人: 新华三大数据技术有限公司
- 申请人地址: 河南省郑州市郑州高新技术产业开发区杜英街166号总部大观B18楼
- 专利权人: 新华三大数据技术有限公司
- 当前专利权人: 新华三大数据技术有限公司
- 当前专利权人地址: 河南省郑州市郑州高新技术产业开发区杜英街166号总部大观B18楼
- 主分类号: G06F16/13
- IPC分类号: G06F16/13 ; G06F16/182
摘要:
本发明提供了一种分布式基础框架中的数据存取方法及装置,用于实现分布式基础框架中的存储于计算分离。本发明中,HDFS Client将待存储于云存储系统的文件切分成数据块,使用NameNode作为元数据管理服务管理文件与数据块之间的映射关系,将数据块存储于云存储系统中,当需要从云存储系统中读取文件时,根据NameNode管理的文件与数据块的映射关系可开启多个任务并行从云存储系统中读取多个数据块。本发明实现了分布式基础框架中计算资源与存储资源的分离部署,不需要对上层的分布式并行计算框架进行修改,具有很好的兼容性,同时解决了分布式文件系统与云存储系统权限管理模型不一致导致鉴权过程复杂、文件重命名性能差的技术问题。
公开/授权文献
- CN111694791A 一种分布式基础框架中的数据存取方法及装置 公开/授权日:2020-09-22