jobtracker上的hadoop conf/masters和conf/slaves?

wfveoks0  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(371)

在一个hadoop集群(1.x版本)中,namenode和jobtracker不是同一个服务器,conf/masters和conf/slaves需要同时在namenode和jobtracker上指定还是只在namenode上指定?我在文件里找不到直接的答案。

laximzn5

laximzn51#

conf文件夹中的从属文件和主文件仅由bin文件夹中的start-mapred.sh、start-dfs.sh和start-all.sh脚本使用。这些脚本是方便的脚本,您可以在单个节点上运行它们,以ssh方式连接到每个主/从节点,并启动所需的hadoop服务守护进程。这些脚本也将从相应的“主”节点启动:
start-dfs.sh-从要作为名称节点的节点开始
start-mapred.sh-从要成为作业跟踪器的节点开始
start-all.sh-委托给上述脚本,并且应该从要同时作为名称节点和作业跟踪器的节点运行
从属文件列出所有计算节点的主机名(即要在其上运行数据节点和任务跟踪器服务的节点),而主文件包含要在其上运行辅助名称节点的节点的主机名。
记住这一点,您只需要名称节点上存在从属和主文件,并且只有在您计划从这个节点启动集群时(使用无密码ssh)。

相关问题