有没有办法通过环境变量传递spark conf参数,这样就不需要在笔记本中指定它们了?对于Pypark来说 PYSPARK_SUBMIT_ARGS pyspark-shell
对齐柏林飞艇来说 SPARK_SUBMIT_OPTIONS
在 conf/zeppelin-env.sh
(https://zeppelin.apache.org/docs/0.5.5-incubating/interpreter/spark.html). 有没有什么方法可以通过类似的方式在杏仁仁中传递env给jupyterhub(例如通过一些菊石配置)?不幸的是, SPARK_SUBMIT_OPTS
无法消化 --conf
参数。现在我想避免使用 SPARK_CONF_DIR
.
暂无答案!
目前还没有任何答案,快来回答吧!