dse spark提交到特定工作池而不是“default”

jgzswidk  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(484)

我能够成功地从https://github.com/datastax/sparkbuildexamples/tree/master/scala/sbt/dse/src/main/scala/com/datastax/spark/example
我也成功地提交了dse spark submit。程序运行良好,效果良好 dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar 我现在希望将上面的作业提交给dse.yaml中配置的现有池

  1. resource_manager_options:
  2. worker_options:
  3. cores_total: 6
  4. memory_total: 32G
  5. workpools:
  6. - name: alwayson_sql
  7. cores: 2
  8. memory: 4G
  9. - name: pool_1
  10. cores: 2
  11. memory: 16G

我无法决定如何/如何更改代码或spark submit,以便将申请提交到池“pool_1”
申请已提交到默认池,我无法将其提交到“池1”。
请帮忙。

qlfbtfca

qlfbtfca1#

经过一些额外的研究,我找到了正确的方法,dseSpark提交使用池“池1”

  1. bin/dse spark-submit \
  2. --master dse://?workpool=pool_1 \
  3. --conf spark.network.timeout=500 \
  4. --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

(根据alex的输入)dse文档:文档链接

相关问题