我已经通过cloudera manager安装了一个集群,现在需要手动启动集群。
我一直在使用以下命令:
$ sudo -u hdfs hadoop namenode / datanode / jobtracker
但是后来 dfs.name.dir
已设置 /tmp
. 我似乎找不到cloudera manager的hdfs配置文件。里面的人 /usr/lib/hadoop-02*/conf
似乎很少。他们错过了比赛 dfs.name.dir
这正是我特别想要的。顺便说一下,我用的是RHLE6系统。由于懒惰,我认为我可以复制cloudera管理器的hdfs配置文件,所以我不必手动创建它们,而是将它们复制到6个节点:)
谢谢
4条答案
按热度按时间oo7oh9g91#
我在同一条船上,找到了这个答案:
为了允许hadoop客户机用户使用您创建的hdfs、mapreduce、yarn和hbase服务,cloudera manager生成客户机配置文件,其中包含具有服务设置的相关配置文件。当您添加服务或在主机上添加网关角色时,cloudera manager会根据您已安装的服务自动部署这些文件。
如果需要,您可以手动下载这些客户机配置文件并将其分发给服务的用户。
“群集操作”菜单上的“客户端配置URL”命令将打开一个弹出窗口,其中显示指向为群集中安装的服务创建的客户端配置zip文件的链接。您可以通过单击链接下载这些zip文件。
有关此主题的详细信息,请参阅部署客户端配置文件。
在我们的系统里我是通过
http://your_server:7180/cmf/services/status
单击“添加群集”按钮下的“操作”弹出窗口。希望有帮助。zpjtge222#
使用centos 6.5,cloudera manager特殊文件不会显示在搜索文件结果中,因为它们的权限设置为对除“hdfs”用户以外的所有用户隐藏。此外,本地驱动器上有多个版本的hdfs-site.xml,其中一些版本有部分实际设置。实际设置文件位于datanode文件夹中,而不是namenode文件夹中,后者中缺少dfs.datanode.data.dir值就是明证。
yiytaume3#
我也面临同样的问题。我正在从cloudera manager ui更改配置参数,但不知道在本地文件系统上更新了哪些配置参数。
我运行grep命令,发现在我的示例中,配置存储在/var/run/cloudera scm agent/process/*-hdfs namenode目录下。
所以david是对的,每当我们从ui更改配置并重新启动服务时,它都会创建新的配置。/var/run/cloudera scm agent/process/目录中的设置。
sczxawaw4#
cloudera管理器在每次启动集群时部署配置文件,每次都在不同的目录中。目录以进程id或类似的名称命名。
配置作为参数显式地传递给每个deamon。所以,如果您查看每个hadoop deamons的命令行,您可以看到配置在哪里(或者只需grep over disk for hdfs-site.xml)。配置文件的名称与通常相同。