为什么集群中机器台数多反而执行速度慢?

这里假设集群中有slave1,slave2,slave3三个节点,其中slave3工作效率低。

一共有6个任务,需要去做,slave1和slave2执行一个任务是1分钟,slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。

如果让slave1和slave2去做,则需要3分钟,分析如下:

slave1    slave2

3            3

3*1        3*1

并行执行总时间就是单个slave的执行时间3;

那么三台同时去做需要4分钟。

slave1    slave2    slave3

2            2            2

这里slave1和slave2都完成了自身的任务,已经花费了2分钟,剩下最后一个任务考虑到数据的本地性也分给了slave3,slave3执行时间超过一分钟时,jobtracker会觉得slave3可能没有能力完成分配给他的任务,假设在slave1上推测执行,结果slave3结束了,就将运行在slave1上的推测执行任务kill掉,最后执行时间是4秒。

因为在推测执行的时候会两个推测执行的任务会同时完成。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/54a75d0c45f45b1f519af64111f904ac.html