一种数据处理的方法以及相关装置
摘要:
本发明实施例公开了一种数据处理的方法,包括:接收数据处理指令;根据所述数据处理指令获取第一分区数据以及第二分区数据;通过Mapper对所述第一分区数据进行排序处理,得到第一待合并数据,并对所述第二分区数据进行排序处理,得到第二待合并数据;通过Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理,得到目标连接数据。本发明实施例还公开了一种数据处理装置。本发明实施例将数据排序的过程放在Mapper中完成,而Reducer只需要完成数据合并的过程,从而降低了每个Reducer的数据处理时延,提升Join的执行效率。
公开/授权文献
0/0