在一个hadoop集群中可以有多少namenode?

gjmwrych  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(1969)

hadoop集群是机架的集合。每个机架是否包含一个namenode,或者整个集群只存在一个namenode?

83qze16e

83qze16e1#

在典型的hadoop部署中,每个机架不会有一个namenode。许多较小规模的部署使用一个namenode,并带有一个可选的备用namenode用于自动故障切换。
但是,可以有多个namenode。hadoop的0.23版本引入了联邦namenodes来允许水平伸缩。但是,如我所说,在许多常见用例中,每个集群都有一个namenode(可选的备用namenode或辅助namenode)。
更多信息请参见此处。

sxpgvts3

sxpgvts32#

一个。群集中只能有一个名称节点。
细节-在yarn/hadoop2.0中,它们提供了活动名称节点和备用名称节点的概念这就是大多数人困惑的地方。他们认为它们是集群中的两个节点)。但在这个yarn架构中,也将有一个单一的名称节点,它将从数据节点接收心跳和块报告。这意味着将有一个名称节点保持活动状态。而这个备用名称节点将通过journal节点从活动名称节点接收元数据文件,以便在名称节点发生故障时接管。
现在,如果你有一个由大量节点组成的集群,比如说2000个节点,那么在这种情况下,你也可以只有一个活动名称节点,或者你可以用另一种方法将你的集群划分为子集群,现在这些子集群也会有每个集群一个活动节点,但这会提高处理速度,因为现在你的名称节点数据节点比率更好
结论-在任何情况下,每个集群都可以有一个节点

ar7v8xwq

ar7v8xwq3#

这取决于机架的配置以及节点的名称。整个集群可以有一个名称节点。如果你对性能很认真,那么你可以为其他机架配置另一个名称节点。但不建议每个机架使用一个名称节点。在hadoop1.x中,您只能有一个名称节点(只有一个名称空间),但在hadoop2.x中,我们可以有名称空间联合,其中我们可以有多个名称节点,通常只为特定的元数据服务。

相关问题