根据文件：对于步骤类型，选择spark应用程序。但是在amazon emr->clusters->mycluster->steps->add step->step type中，只有以下选项：
blmhpbnm1#
您可以将command-runner.jar用于您的用例。对于step类型，让它成为您拥有的选项中的customjar。查看此图片了解详细信息。您可以阅读有关command-runner.jar命令运行程序用法的更多信息
yhived7q2#
我没有spark应用程序选项，因为我创建了一个核心hadoop集群。当我创建集群时，在software configuration下，我应该选择spark，然后在step type下有spark应用程序选项。
nr7wwzry3#
有两种方法可以添加emr spark步骤：-使用command-runner.jar（自定义应用程序）
spark-submit --class org.apache.spark.examples.SparkPi /usr/lib/spark/examples/jars/spark-examples.jar 10
使用aws cli执行相同的操作
aws emr add-steps --cluster-id j-xxxxxxxx --steps Name="add emr step to run spark",Jar="command-runner.jar",Args=[spark-submit,--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/examples/jars/spark-examples.jar,10]
-Spark应用
3条答案
按热度按时间blmhpbnm1#
您可以将command-runner.jar用于您的用例。对于step类型，让它成为您拥有的选项中的customjar。查看此图片了解详细信息。
您可以阅读有关command-runner.jar命令运行程序用法的更多信息
yhived7q2#
我没有spark应用程序选项，因为我创建了一个核心hadoop集群。
当我创建集群时，在software configuration下，我应该选择spark，然后在step type下有spark应用程序选项。
nr7wwzry3#
有两种方法可以添加emr spark步骤：
-使用command-runner.jar（自定义应用程序）
使用aws cli执行相同的操作
-Spark应用
