发明公开
- 专利标题: 一种数据处理的方法以及相关装置
- 专利标题(英): Data processing method and related device
-
申请号: CN201810245691.X申请日: 2018-03-23
-
公开(公告)号: CN110309177A公开(公告)日: 2019-10-08
- 发明人: 张韶全 , 朱锋
- 申请人: 腾讯科技(深圳)有限公司
- 申请人地址: 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- 专利权人: 腾讯科技(深圳)有限公司
- 当前专利权人: 腾讯科技(深圳)有限公司
- 当前专利权人地址: 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- 代理机构: 深圳市深佳知识产权代理事务所
- 代理商 王仲凯
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/2453
摘要:
本发明实施例公开了一种数据处理的方法,包括:接收数据处理指令;根据所述数据处理指令获取第一分区数据以及第二分区数据;通过Mapper对所述第一分区数据进行排序处理,得到第一待合并数据,并对所述第二分区数据进行排序处理,得到第二待合并数据;通过Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理,得到目标连接数据。本发明实施例还公开了一种数据处理装置。本发明实施例将数据排序的过程放在Mapper中完成,而Reducer只需要完成数据合并的过程,从而降低了每个Reducer的数据处理时延,提升Join的执行效率。
公开/授权文献
- CN110309177B 一种数据处理的方法以及相关装置 公开/授权日:2023-11-03