clouderacdh在ec2上的应用

egmofgnx 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(431)

我是一个aws新手，我正在尝试通过cloudera的ami在ec2上运行hadoop。我安装了ami，下载了cloudera-haddop-for-ec2-tools，现在我正在尝试配置

haddop-ec2-env.sh

其要求如下：

AWS_ACCOUNT_ID
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
EC2_KEYDIR
PRIVATE_KEY_PATH

运行时：

./hadoop-ec2 launch-cluster my-cluster 10

我要走了

AWS was not able to validate the provided access credentials

首先，我有我自己帐户的前3个属性。这是一个公司帐户，我收到了一封电子邮件，其中包含我的电子邮件的访问密钥id和秘密访问密钥。有没有可能我的帐户没有适当的权限来执行这里需要的操作。为什么这个脚本需要我的证书？它需要做什么？
第二，ec2键在哪里？我上传了amazon为我创建的key.pem文件，并将其硬编码到private\u key\u路径和chmod 400的.pem文件中。这是这个脚本需要的正确密钥吗？
有什么需要帮忙的吗？
山姆

hadoop cloudera amazon-ec2

来源：https://stackoverflow.com/questions/12678217/cloudera-cdh-on-ec2

1条答案

按热度按时间

i2byvkas1#

clouderaec2工具严重依赖于amazonec2api工具。因此，您必须执行以下操作：
1）下载amazonec2api工具http://aws.amazon.com/developertools/351
2）从下载cloudera ec2工具http://cloudera-packages.s3.amazonaws.com/cloudera-for-hadoop-on-ec2-0.3.0.tar.gz
3）设置以下env变量我只给出基于unix的示例

export EC2_HOME=<path-to-tools-from-step-1>
export $PATH=$PATH:$EC2_HOME/bin
export $PATH=$PATH:<path-to-cloudera-ec2-tools>/bin
export EC2_PRIVATE_KEY=<path-to-private-key.pem>
export EC2_CERT=<path-to-cert.pem>

4）在cloudera-ec2-tools/bin中设置以下变量

AWS_ACCOUNT_ID=<amazon-acct-id>
AWS_ACCESS_KEY_ID=<amazon-access-key>
AWS_SECRET_ACCESS_KEY=<amazon-secret-key>
EC2_KEYDIR=<dir-where-the-ec2-private-key-and-ec2-cert-are>
KEY_NAME=<name-of-ec2-private-key>

然后跑

$ hadoop-ec2 launch-cluster my-hadoop-cluster 10

它将创建一个名为“myhadoop”的hadoop集群，在多台ec2机器上有10个节点

展开查看全部

赞(0）回复(0）举报 2021-06-03

我来回答

clouderacdh在ec2上的应用

1条答案

相关问题

热门标签

最新问答