aws step文档中说steps只在主节点上执行，这是否意味着即使我登录到任何从属节点并在其上执行addsteps命令，该命令也只会将step添加到主节点上？然后如何在所有从属节点上执行自定义shell脚本？引导不是一个选项，因为shell脚本要求已经创建emrf-site.xml，这在emr完全启动并运行之前不会发生。
lzfw57am1#
您可以使用“custom jar”步骤类型来运行“script runner.jar”，它将在每个集群节点上运行任何bash脚本：
aws emr create-cluster --name ... --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://region.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]
更多信息请点击此处：https://docs.aws.amazon.com/emr/latest/releaseguide/emr-hadoop-script.html
1条答案
按热度按时间lzfw57am1#
您可以使用“custom jar”步骤类型来运行“script runner.jar”，它将在每个集群节点上运行任何bash脚本：
更多信息请点击此处：https://docs.aws.amazon.com/emr/latest/releaseguide/emr-hadoop-script.html