有没有人能告诉我一些可以帮助我在ec2上手动设置/配置hadoop(1.0.4)的资源。我同意有很多资源可以使用工具、服务等来实现这一点,但我要找的是一些帮助,找出手动修改conf/*.xml文件以使hadoop工作。
现在,我有5个ec2示例正在运行,它们都能够在psuedo分布式模式下单独运行hadoop作业。因此,我需要通过配置conf文件将一个转换为主节点,将其余的转换为从节点,这样从节点就知道namenode和jobtracker在哪里,而主节点就知道所有的从节点。
我的理解是,我还必须配置示例的ec2安全组,以便它们都可以在正确的端口上相互通信。我想我可以接受。
有人能帮我解决配置部分的问题吗,或者给我指出一些可能有用的东西吗?
1条答案
按热度按时间sulc1iza1#
我在这里找到了一个完整的教程,最终让我振作起来:http://cloudblog.8kmiles.com/2011/12/05/hadoop-fully-distributed-setup/