我一直在本地机器上使用wekadistributedhadoop1.0.4和wekadistributedbase1.0.2包来运行一些基本作业。为了运行作业，必须填写“hdfs host”字段。我一直在使用“localhost”，因为我一直在我的本地机器上测试，这工作正常。在aws emr上运行时，我盲目地尝试使用“localhost”，但是作业失败了。我想知道的是，我应该输入什么主机名，以便weka调用正确的主机名？是启动集群时提供的公共dns名称，还是api中有方法可以为我获取该地址？
bvhaajcl1#
如果你想手动操作。创建一个集群并使其保持活动状态，您可以在amazonec2示例管理控制台的安全组elasticmapreduce master/slave中找到相关信息。找到它，登录主节点，编辑conf文件并填写正确的名称。如果你需要自动完成。编写一个在bootstrap中执行的shell。你可以参考https://serverfault.com/questions/279297/what-is-the-easiest-way-to-get-a-ec2-public-dns-inside-a-running-instance
1条答案
按热度按时间bvhaajcl1#
如果你想手动操作。
创建一个集群并使其保持活动状态，您可以在amazonec2示例管理控制台的安全组elasticmapreduce master/slave中找到相关信息。找到它，登录主节点，编辑conf文件并填写正确的名称。
如果你需要自动完成。
编写一个在bootstrap中执行的shell。你可以参考https://serverfault.com/questions/279297/what-is-the-easiest-way-to-get-a-ec2-public-dns-inside-a-running-instance