我在databricks中有一个作业需要设置一些hadoop配置值。我已经在“spark config”框中添加了条目
但是，当我尝试读取conf值时，它们不会出现在hadoop配置中( spark.sparkContext.hadoopConfiguraiton )，它们只出现在spark配置中( spark.conf )
有什么方法可以将配置从spark配置传播到hadoop配置吗
我在databricks中有一个作业需要设置一些hadoop配置值。我已经在“spark config”框中添加了条目
但是，当我尝试读取conf值时，它们不会出现在hadoop配置中( spark.sparkContext.hadoopConfiguraiton )，它们只出现在spark配置中( spark.conf )
有什么方法可以将配置从spark配置传播到hadoop配置吗
1条答案
按热度按时间lx0bsm1f1#
如果在配置值前面加上
spark.hadoop.它们将被传递到hadoop配置中(spark.sparkContext.hadoopConfiguration)