疑难解答

frebpwbc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(374)

我有三台Ubuntu12.04 lts计算机,我想按照这里描述的主/从配置安装hadoop。它说首先将hadoop作为单个节点安装,然后继续多节点安装。单节点安装工作得非常好。我对/etc/hosts文件进行了必要的更改,并按照指南中的说明配置了所有内容,但是当我在主服务器上启动hadoop集群时,出现了一个错误。
我的电脑,恰如其分地命名为铁人、超人和 bat 侠, bat 侠(还有谁?)是主节点。当我这么做的时候 sudo bin/start-dfs.sh ,显示以下内容。

当我输入密码时,我得到:

当我尝试的时候 sudo bin/start-all.sh ,我明白了:

我可以用ssh连接到不同的终端,但是有些地方不太正确。我查看了超人/从机终端的日志,它说它无法连接到batman:54310 and 一些zzz信息。我认为我的/etc/hosts是错误的,但事实上,它是:

我试图通过更改iptables来打开端口54310,但是这里显示的输出屏幕是在我进行更改之后显示的。我束手无策。请告诉我哪里出了问题。请让我知道如果你需要更多的信息,我会更新相应的问题。谢谢!
更新:这是我的conf文件。
core-site.xml请注意batman:54310 instead ip地址的名称。我之所以更改它,是因为我认为我应该使绑定更加明确。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://130.65.153.195:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

</configuration>

mapred-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>130.65.153.195:54311</value>
<description>The host and port that the MapReduce job tracker runs
at.  If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

</configuration>

hdfs-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>

</configuration>

我的conf/masters文件 batman 我的conf/slaves文件是:

batman
superman
ironman

希望这能澄清问题。

pb3skfrl

pb3skfrl1#

第一件事:确保你可以ping主从奴隶和奴隶从主人。分别登录到每台计算机并ping其他2台主机。确保可以通过他们的主机名联系到他们。可能您没有在从属服务器中添加/etc/hosts条目。
其次,需要设置无密码ssh访问。你可以用 ssh-keygen -t rsa 以及 ssh-copy-id 为了这个。这将有助于删除密码提示。最好为此创建一个单独的用户(而不是使用root)。
如果这没有帮助,请张贴您的日志输出。

相关问题