如何从客户端节点运行hadoop均衡器?

smtd7mpg  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(476)

我想问一下如何运行hadoop平衡器?我以前尝试过在namenode上运行hadoop balancer命令,但是没有任何效果(我的新datanode仍然是空的)。我还了解到hadoop平衡器不是在namenode上运行的,而是在client节点上运行的。那么什么是客户机节点,如何配置它,客户机节点如何访问hadoop文件系统呢?
谢谢大家,我需要你们的建议

mwecs4sa

mwecs4sa1#

客户机节点也称为边缘节点,通常组织中的所有开发人员都不能访问集群上的所有节点。所以对于开发人员访问集群,我们通常会有一个客户机节点。您需要在客户机节点上安装hadoop客户机包。如果您使用的是基于cloudera rpm的安装,那么可以使用下面的命令。

sudo yum install hadoop-client

客户端节点安装后,更新配置文件,如core-site.xml、hdfs-site.xml和其他必需的文件。现在,当您执行hadoopcli命令时,它们将在集群上执行。
平衡器可以从群集中的任何节点运行。它可以是客户机/集群中的任何节点。

sudo -u hdfs hdfs balancer

关于新添加的datanode,只要检查namenodewebui中是否添加了节点?如果你能看到那里,只要查看日志。

相关问题