发明授权
- 专利标题: 一种数据加载方法、终端和计算集群
-
申请号: CN201610856707.1申请日: 2016-09-27
-
公开(公告)号: CN106503058B公开(公告)日: 2019-01-18
- 发明人: 房浩 , 毕杰山 , 莫凯 , 郭益君 , 钟超强
- 申请人: 华为技术有限公司
- 申请人地址: 广东省深圳市龙岗区坂田华为总部办公楼
- 专利权人: 华为技术有限公司
- 当前专利权人: 华为云计算技术有限公司
- 当前专利权人地址: 广东省深圳市龙岗区坂田华为总部办公楼
- 代理机构: 北京中博世达专利商标代理有限公司
- 代理商 申健
- 主分类号: G06F16/27
- IPC分类号: G06F16/27 ; G06F16/2455 ; G06F16/22 ; G06F16/182
摘要:
本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。
公开/授权文献
- CN106503058A 一种数据加载方法、终端和计算集群 公开/授权日:2017-03-15