HDFS AWS EMR群集-纵向扩展未将dfs.replication值从1更新为2

liwlm1x9 于 2023-01-10 发布在 HDFS

关注(0)|答案(1)|浏览(220)

我使用1 master和1 core node调配了一个AWS EMR HBASE群集（m5.xLarge）。我的群集没有任何“任务”节点，因为我计划将此群集仅用于存储。两个框上的hdfs-site.xml文件都将dfs.replication设置为1，这是有意义的。然后我手动添加了5个core节点。我希望EMR能按照他们的文档-https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hdfs-config.html将复制因子从1提高到2
据我所知，如果我在引导过程中提供6个核心，EMR会将复制因子设置为2，但在我的使用案例中，如果我在启动并运行后手动扩展集群，情况会怎样呢？

hdfs

来源：https://stackoverflow.com/questions/75063620/aws-emr-cluster-scale-up-didnt-update-dfs-replication-value-from-1-to-2

1条答案

按热度按时间

f5emj3cl1#

EMR似乎不会自动执行此操作。在向上扩展群集后，我需要通过手动重新配置示例组-https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html来重新配置复制因子

示例组. json如下

[
  {
  "InstanceGroupId":"<ig-1xxxxxxx9>",
  "Configurations":[
     {
        "Classification":"yarn-site",
        "Properties":{
           "yarn.nodemanager.disk-health-checker.enable":"true",
           "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
        },
        "Configurations":[]
     }
  ]
 }
]

aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> 
--instance-groups file://instanceGroups.json

赞(0）回复(0）举报 2023-01-10

我来回答

HDFS AWS EMR群集-纵向扩展未将dfs.replication值从1更新为2

1条答案

相关问题

热门标签

最新问答