有人能帮我理解jvm和yarn中容器之间的关系吗?jvm是如何创建的,每个任务有一个jvm吗?多个任务能否同时在同一个jvm中运行(我知道ubertasking可以在同一个jvm中一个接一个地运行许多任务(maps/reduce)。每个容器有一个jvm吗?或者在一个jvm中有多个容器?或者jvm和容器之间没有关系?当资源管理器为一个作业分配容器时,同一个作业中的多个任务是否对同一节点中运行的任务使用同一容器?或者根据可用性为每个任务提供单独的容器?指向一些有用链接的指针也会很有帮助。
dphi5xsq1#
每个容器有一个jvm吗?或者在一个jvm中有多个容器?或者jvm和容器之间没有关系?当然,这是一对一的关系。对于每个需要创建的容器,都会生成一个新的java进程(jvm)。现在,如果您不是在uber模式下运行,请考虑following:-jvm是如何创建的,每个任务有一个jvm吗?多个任务能否同时在同一个jvm中运行(我知道ubertasking可以在同一个jvm中一个接一个地运行许多任务(maps/reduce)。请参见,任务计划在群集中的某个节点上运行。根据任务的要求(内存和cpu),确定容器的容量。还有一些参数,你可以在下面的链接中找到。每个任务尝试都安排在jvm上。当资源管理器为一个作业分配容器时,同一个作业中的多个任务是否对同一节点中运行的任务使用同一容器?或者根据可用性为每个任务提供单独的容器?根据集群中的资源可用性为每个任务生成单独的容器。以下是一些非常有用的链接-http://ercoppa.github.io/hadoopinternals/anatomymapreducejob.htmlhttps://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/
1条答案
按热度按时间dphi5xsq1#
每个容器有一个jvm吗?或者在一个jvm中有多个容器?或者jvm和容器之间没有关系?
当然,这是一对一的关系。对于每个需要创建的容器,都会生成一个新的java进程(jvm)。
现在,如果您不是在uber模式下运行,请考虑following:-
jvm是如何创建的,每个任务有一个jvm吗?多个任务能否同时在同一个jvm中运行(我知道ubertasking可以在同一个jvm中一个接一个地运行许多任务(maps/reduce)。
请参见,任务计划在群集中的某个节点上运行。根据任务的要求(内存和cpu),确定容器的容量。还有一些参数,你可以在下面的链接中找到。
每个任务尝试都安排在jvm上。
当资源管理器为一个作业分配容器时,同一个作业中的多个任务是否对同一节点中运行的任务使用同一容器?或者根据可用性为每个任务提供单独的容器?
根据集群中的资源可用性为每个任务生成单独的容器。
以下是一些非常有用的链接-
http://ercoppa.github.io/hadoopinternals/anatomymapreducejob.html
https://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/
http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/