sudo apt-get -y update
sudo apt-get -y install default-jdk
ssh-keygen -t rsa -P '' # Press Enter when prompted
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# See http://www.apache.org/dyn/closer.cgi/hadoop/common/ for latest file version
wget http://download.nextag.com/apache/hadoop/common/current/hadoop-2.6.0.tar.gz
tar xfz hadoop-2.6.0.tar.gz
# Replace the folder/file names for your system
export HADOOP_PREFIX=/home/ubuntu/hadoop-2.6.0
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
2条答案
按热度按时间xv8emn3q1#
创建一个ubuntu示例。我将我的设置为一个ubuntu14.04linux,在一个m3.medium spot示例上,有20gb的数据存储(终止时删除),所有端口都打开(为了安全起见)。
ssh
将下面的命令逐段复制粘贴到服务器中。配置hadoop
运行独立节点并向其中添加文件
安装pydoop
使用以下python脚本测试pydoop:
eqoofvh92#
另一个解决方案是使用juju(ubuntu的服务编排框架)。
首先在标准计算机上安装juju客户端:
(此处还提供了有关macos和windows的说明)
然后生成一个配置文件
并使用您首选的云凭据(aws、azure、gce…)对其进行修改。基于m3.medium的命名,我假设您使用aws,因此请遵循以下说明
注:上述操作只需执行一次。
现在启动
部署一个gui(可选),就像网站上提供的演示一样
您将找到gui的url和密码:
请注意,以上步骤是任何juju部署的预备步骤,并且可以在每次您想要旋转环境时重复使用。
现在是hadoop的用例。你有几个选择。
只需部署1个hadoop节点
您可以使用跟踪部署
并获取有关新示例的信息
这是部署hadoop所需的唯一命令(您可以将juju视为复杂系统apt的一种演变)
使用hdfs和mapreduce部署一个由3个节点组成的集群
扩展使用(单独的hdfs和mapreduce,实验性)
对于pydoop,您必须像第一个答案中那样手动部署它(您可以通过“juju ssh”访问juju示例),或者您可以编写一个“charm”(juju学习如何部署pydoop的方法)。