num off switch containers在yarn资源管理器ui中意味着什么?

yrefmtwq  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(794)

我有一个etl的工作,占用大量的cpu和内存,并运行了很长时间。调试时我观察到的第一件事是(从资源管理器gui上的作业)
节点数本地容器(满足者)=6
本地集装箱数量(满足)=00
关闭开关容器数(满足)=11367
我们只有两个架子。我需要帮助回答以下三个问题
num off switch containers是什么意思?
如何识别这些“关闭开关”容器以及它们在哪个节点上运行?
关闭切换容器是否会导致作业处理时间变慢?

p8h8hvxi

p8h8hvxi1#

1.num off switch containers是什么意思?上述情况是有意义的 off switch locality 延迟调度器:-

| router|
              +-----------+
             /             \
    +-----------+        +-----------+
    |rack switch|        |rack switch|
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+
    | data node |        | data node |
    +-----------+        +-----------+

这是数据局部性(1.node local)的最坏情况2。机架本地3。通过延迟调度器,内存和vCore通过交换机和更高的带宽分配到不同的机架上。
延迟调度器将传入任务分配给位于不同机架上的关闭开关节点,以避免任务不足
对于Yarn配置变量中的不同调度器,节点和机架阈值有:-
此属性的容量 yarn.scheduler.capacity.rack-locality-additional-delay ,完成关闭开关容器分配。
capacity-scheduler.xml文件

<property>
  <name>yarn.scheduler.capacity.node-locality-delay</name>
  <value>-1</value>
  <description>Number of missed scheduling opportunities after which the              CapacityScheduler attempts to schedule rack-local containers.
Typically this should be set to number of racks in the cluster, this
feature is disabled by default, set to -1.
 </description>
</property>

https://issues.apache.org/jira/browse/yarn-4189 -jira在使用公平调度程序的集群情况下的改进:-
https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/fairscheduler.html yarn.scheduler.fair.locality.threshold.rack https://cs.stanford.edu/~matei/papers/2010/eurosys_delay_scheduling.pdf 用于延迟调度。
2.如何识别这些“关闭开关”容器以及它们在哪个节点上运行?
要查看应用程序的容器,我认为我们需要通过尝试id转到特定的应用程序尝试,在那里我们可以找到conatainer及其节点。我在rmui中找不到任何到关闭开关容器的直接链接
3.关闭开关容器是否会导致作业处理时间变慢?
是的,从上面我们可以得出结论,网络开销将减慢作业处理。

相关问题