使用cli创建带有粘合目录的emr配置单元群集

z9smfwbn  于 2021-06-25  发布在  Hive
关注(0)|答案(1)|浏览(414)

我想创建emr hive集群,它将使用glue作为数据目录,使用awscli。
我在aws文档或其他地方搜索时没有发现任何与此相关的内容。
这可能吗?

kzipqqlq

kzipqqlq1#

首先,我们创建一个名为emr.json的配置分类,该分类将aws glue data catalog指定为配置单元的元存储:

  1. [
  2. {
  3. "Classification": "hive-site",
  4. "Properties": {
  5. "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
  6. "hive.metastore.schema.verification": "false"
  7. }
  8. }
  9. ]

注意:在emr版本5.28.0、5.28.1或5.29.0上,如果要使用aws glue数据目录作为元存储创建集群,我们将hive.metastore.schema.verification设置为false。
最后,我们将配置分类文件与最终命令结合起来,如下所示:

  1. aws emr create-cluster --name "syumaK-cluster" --configurations file://emr.json --release-label emr-5.28.0 --use-default-roles --applications Name=Hadoop Name=Spark Name=Hive Name=HUE --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m1.medium InstanceGroupType=CORE,InstanceCount=2,InstanceType=m1.medium

答复:

  1. {
  2. "ClusterId": "j-2NZ6xxxxxx",
  3. "ClusterArn": "arn:aws:elasticmapreduce:us-east-1:1925xxxxx:cluster/j-2NZ6xxxxxx"
  4. }

希望这有帮助!

展开查看全部

相关问题