为了在mac上安装和运行hadoop,我正在执行以下操作:
首先,我安装homebrew作为包管理器
ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"
然后使用brew命令安装hadoop:
brew install hadoop
然后是以下内容:
cd /usr/local/Cellar/hadoop/1.1.2/libexec
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="
然后,我通过将以下内容添加到正确的.xml文件来配置hadoop:
core-site.xml文件
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
hdfs-site.xml文件
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml文件
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
然后启用ssh到本地主机:
System Preferences > Sharing > “Remote Login” is checked.
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后格式化hadoop文件系统:
bin/hadoop namenode -format
然后启动hadoop(或者至少试试……这就是我得到错误的地方)
bin/start-all.sh
我得到一个错误-bash:bin/start-all.sh:没有这样的文件或目录。
我在安装过程中做的一件“奇怪”的事情是,由于在2.4.0中不再有mapred-site.xml文件,我只需将mapred-site.xml.template文件复制到我的桌面,将其重命名为mapred-site.xml,然后将新的副本放在文件夹中。我还尝试在没有任何mapred-site.xml配置的情况下运行,但仍然出现此错误。
1条答案
按热度按时间suzh9iv81#
另外,brew默认安装hadoop-2.4.0。
看到这里了吗https://github.com/homebrew/homebrew/blob/master/library/formula/hadoop.rb
在hadoop2.x中没有
start-all.sh
文件输入bin
文件夹。它被移动到sbin
. 你还需要更多的配置。这些链接可能有用:http://codesfusion.blogspot.in/2013/10/setup-hadoop-2x-220-on-ubuntu.html
https://hadoop.apache.org/docs/r2.2.0/