我想知道在一个单节点hadoop环境中可以同时提交/运行多少个mapreduce作业。有什么限制吗？
s5a0g9ez1#
在配置集群时设置缩减器插槽的数量。这将根据每个作业请求的缩减器数量限制mapreduce作业的数量。Map器通常更受数据节点数和每个节点的处理器数的限制。
ttcibm8c2#
您可以提交任意数量的作业，它们将排队，调度程序将根据fifo（默认情况下）和可用资源运行它们。hadoop执行的作业数将取决于上面john的描述。
8ftvxx2r3#
从配置的Angular 来看，我知道没有限制。你可以设置Map的数量和减少插槽到任何你想要的。但实际上，每个插槽都必须启动一个能够运行hadoop代码的jvm，这需要一定的内存，因此最终您的机器上的内存将耗尽。您可能还必须巧妙地配置作业队列，以便同时运行大量作业。现在，什么是可能是一个非常不同的问题比什么是一个好主意。。。
3条答案
按热度按时间s5a0g9ez1#
在配置集群时设置缩减器插槽的数量。这将根据每个作业请求的缩减器数量限制mapreduce作业的数量。Map器通常更受数据节点数和每个节点的处理器数的限制。
ttcibm8c2#
您可以提交任意数量的作业，它们将排队，调度程序将根据fifo（默认情况下）和可用资源运行它们。hadoop执行的作业数将取决于上面john的描述。
8ftvxx2r3#
从配置的Angular 来看，我知道没有限制。你可以设置Map的数量和减少插槽到任何你想要的。但实际上，每个插槽都必须启动一个能够运行hadoop代码的jvm，这需要一定的内存，因此最终您的机器上的内存将耗尽。您可能还必须巧妙地配置作业队列，以便同时运行大量作业。
现在，什么是可能是一个非常不同的问题比什么是一个好主意。。。