如何在从airflow SparkSubmitor提交spark应用程序时设置Yarn队列

k0pti3hp  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(485)

我是新的气流和Sparksubmitor。我可以看到,spark应用程序提交到'root.default'队列时,目标框。
简单的问题-如何设置自定义队列名称?

wordcount = SparkSubmitOperator(
    application='/path/to/wordcount.py',
    task_id="wordcount",
    conn_id="spark_default",
    dag=dag
)

p、 我读过文件:
https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/spark_submit_operator.html
谢谢

5anewei6

5anewei61#

现在我可以看到--queue值来自默认连接:

Conn Id = spark_default
Host = yarn
Extra = {"queue": "root.default"}

转到“管理”菜单>“连接”,选择“spark default”并编辑它:
额外更改 {"queue": "root.default"}{"queue": "default"} 在airflow Web服务器ui中。
当然,这意味着每个队列都需要一个气流连接。

相关问题