如何实时调整spark作业?

vi4fp9gy  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(332)

如何在pyspark中的spark结构化流作业期间调整内存核心消耗?

zzlelutf

zzlelutf1#

您只能在提交阶段之前在spark中调整作业。
您可以通过以下方式调整spark作业:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

相关问题