伪分布式单节点集群的实现我将windows7与cygwin一起使用,并成功安装了hadoop-1.0.3。我仍然在端口上启动服务job tracker、task tracker和namenode(localhost:50030,localhost:50060 and localhost:50070)。我已完成单节点实现。现在我想实现伪分布式多节点集群。我不明白如何通过网络IP在主从系统中进行划分?
okxuctiv1#
对于您的ssh问题,只需遵循单节点集群的链接:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/是的,您需要在conf文件中指定主机和从机的ip,以便您可以引用以下url:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/我希望这有帮助。
vohkndzv2#
尝试创建要添加到群集中的虚拟机数。确保这些虚拟机具有相同的hadoop版本。计算每个虚拟机的IP。您将在$hadoop\u home/conf中找到名为master和slaves的文件,其中提到vm到conf/master文件的ip,您希望将其视为master,并对conf/slaves和slave节点ip执行相同的操作。确保这些节点具有无密码ssh连接。格式化namenode,然后运行start-all.sh。谢谢,
2条答案
按热度按时间okxuctiv1#
对于您的ssh问题,只需遵循单节点集群的链接:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
是的,您需要在conf文件中指定主机和从机的ip,以便您可以引用以下url:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
我希望这有帮助。
vohkndzv2#
尝试创建要添加到群集中的虚拟机数。确保这些虚拟机具有相同的hadoop版本。计算每个虚拟机的IP。您将在$hadoop\u home/conf中找到名为master和slaves的文件,其中提到vm到conf/master文件的ip,您希望将其视为master,并对conf/slaves和slave节点ip执行相同的操作。
确保这些节点具有无密码ssh连接。格式化namenode,然后运行start-all.sh。
谢谢,