cloudera安装怀疑?

42fyovps  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(450)

我是cloudera的新手,我在我的系统中成功安装了cloudera我有两个疑问,
考虑一台机器的一些节点已经在使用hadoop和一些数据,我们是否可以安装cloudera来使用现有的hadoop,而不必对现有hadoop存储的数据进行任何更改或修改。
我在我的机器上安装了cloudera,我还有另外三台机器要添加这些作为群集,我想知道,我是想在将这些机器添加为群集之前在这三台机器上安装cloudera?还是我们可以添加一个节点作为群集而不在该特定节点上安装cloudera?。
提前谢谢各位,请就以上问题提供一些信息。

zkure5ic

zkure5ic1#

回答问题-
1如果您想从现有的apache发行版迁移到cdh,可以遵循以下链接
节选:
概述
迁移过程需要对linux系统管理有一定的了解。你应该在开始之前制定一个计划。您将重新启动一些关键服务,如名称节点和作业跟踪器,因此需要一些停机时间。考虑到集群上数据的价值,您还需要小心地备份任何任务关键型数据集以及名称节点元数据。
备份数据是最重要的,如果你从一个版本的Hadoop升级的基础上的Apache软件基金会发布早于0.20。
2.需要在所有节点中安装和配置cdh二进制文件,以启动和运行基于cdh的集群。

envsm3lx

envsm3lx2#

回答第二个问题,您可以直接添加一些先决条件,如openssh客户机、防火墙和java。
这些计算机(现有节点、新的三个节点)应该接受相同的用户名和密码(或者)您应该为这些主机设置无密码ssh。。
添加节点时应连接到internet。
我希望它能帮助你:)

xj3cbfub

xj3cbfub3#

来自cloudera手册
您可以使用并行复制数据的工具(如cdh4中提供的distcp工具)将数据从cdh3(或任何apachehadoop)集群迁移到cdh4集群。
其他来源
关于你的第二个问题,
再次从手册页
重要提示:在继续之前,您需要决定:
作为一般规则:namenode和jobtracker在同一个“主”主机上运行,除非集群很大(超过几十个节点),并且主主机不应运行辅助namenode(如果使用)、datanode或tasktracker服务。在大型集群中,辅助namenode(如果使用)在namenode之外的另一台机器上运行尤其重要。群集中的每个节点(主主机除外)都应运行datanode和tasktracker服务。
此外,如果您使用cloudera manager,它将自动执行所有必要的设置,即在集群中的节点上安装必要的选定组件。
离题:我有一个坏习惯,就是没有正确地查阅手册。仔细看看,它回答了我们所有的问题

相关问题