公开(公告)号：CN108762902A

公开(公告)日：2018-11-06

申请号：CN201810496636.8

申请日：2018-05-22

申请人： 齐鲁工业大学

发明人： 耿玉水 ,  闫贤钊 ,  孙涛 ,  鲁芹 ,  姜雪松 ,  李爱民

IPC分类号： G06F9/48

CPC分类号： G06F9/4843 ,  G06F2209/486

摘要： 本发明公开了一种基于Spark的分布式计算中多场景任务调度方法及装置，该方法包括：接收分布式计算的执行指令，判断执行指令中的操作类型；在执行聚合操作时，提高reduce并行度，或当key对应数据量超过第一阈值，将该key转换为不同的key，使得同一任务上处理的数据分散至不同任务中；在执行连接操作时，当RDD数据量小于第二阈值，将该RDD进行广播并执行map操作替换连接操作，或当RDD数据量大于第三阈值，采样导致数据倾斜的key，与未数据倾斜的key的RDD分别进行连接操作后进行合并，当导致数据倾斜的key大于第四阈值，对RDD分别进行改变key值和扩容处理后进行连接操作。