我想问一下如何运行hadoop平衡器?我以前尝试过在namenode上运行hadoop balancer命令,但是没有任何效果(我的新datanode仍然是空的)。我还了解到hadoop平衡器不是在namenode上运行的,而是在client节点上运行的。那么什么是客户机节点,如何配置它,客户机节点如何访问hadoop文件系统呢?谢谢大家,我需要你们的建议
mwecs4sa1#
客户机节点也称为边缘节点,通常组织中的所有开发人员都不能访问集群上的所有节点。所以对于开发人员访问集群,我们通常会有一个客户机节点。您需要在客户机节点上安装hadoop客户机包。如果您使用的是基于cloudera rpm的安装,那么可以使用下面的命令。
sudo yum install hadoop-client
客户端节点安装后,更新配置文件,如core-site.xml、hdfs-site.xml和其他必需的文件。现在,当您执行hadoopcli命令时,它们将在集群上执行。平衡器可以从群集中的任何节点运行。它可以是客户机/集群中的任何节点。
sudo -u hdfs hdfs balancer
关于新添加的datanode,只要检查namenodewebui中是否添加了节点?如果你能看到那里,只要查看日志。
1条答案
按热度按时间mwecs4sa1#
客户机节点也称为边缘节点,通常组织中的所有开发人员都不能访问集群上的所有节点。所以对于开发人员访问集群,我们通常会有一个客户机节点。您需要在客户机节点上安装hadoop客户机包。如果您使用的是基于cloudera rpm的安装,那么可以使用下面的命令。
客户端节点安装后,更新配置文件,如core-site.xml、hdfs-site.xml和其他必需的文件。现在,当您执行hadoopcli命令时,它们将在集群上执行。
平衡器可以从群集中的任何节点运行。它可以是客户机/集群中的任何节点。
关于新添加的datanode,只要检查namenodewebui中是否添加了节点?如果你能看到那里,只要查看日志。