如何在从airflow SparkSubmitor提交spark应用程序时设置Yarn队列

k0pti3hp 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(529)

我是新的气流和Sparksubmitor。我可以看到，spark应用程序提交到'root.default'队列时，目标框。
简单的问题-如何设置自定义队列名称？

wordcount = SparkSubmitOperator(
    application='/path/to/wordcount.py',
    task_id="wordcount",
    conn_id="spark_default",
    dag=dag
)

p、我读过文件：
https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/spark_submit_operator.html
谢谢

1条答案

现在我可以看到--queue值来自默认连接：

Conn Id = spark_default
Host = yarn
Extra = {"queue": "root.default"}

转到“管理”菜单>“连接”，选择“spark default”并编辑它：
额外更改 {"queue": "root.default"} 至 {"queue": "default"} 在airflow Web服务器ui中。
当然，这意味着每个队列都需要一个气流连接。