我的要求是设置spark.sql.shuffle.partitions=auto
但是我在运行下面的代码时得到了下面的错误
%python
spark.conf.set("spark.sql.shuffle.partitions=auto")error
TypeError Traceback (most recent call last)
<command-3238694083679317> in <cell line: 1>()
----> 1 spark.conf.set("spark.sql.shuffle.partitions=auto")
TypeError: set() missing 1 required positional argument: 'value'
1条答案
按热度按时间bzzcjhmw1#
解决方案如下所示。
上面的代码将随机分区设置为“auto”。
通过下面的代码，我们可以看到shuffle分区的值。