apachespark库支持哪个版本的python（2或3）？如果它同时支持这两个版本，那么在使用ApacheSpark时使用Python2或Python3有什么性能方面的考虑吗？
dgsult0t1#
至少从spark 1.2.1开始，如果不使用其他方法设置，则默认的python版本是2.7 PYSPARK_PYTHON 或者 PYSPARK_DRIVER_PYTHON （见 bin/pyspark ).python3从spark 1.4.0开始就受到支持（请参阅spark-4897和spark 1.4.0发行说明）。选择一个而不是另一个应该取决于你的要求。我应该在开发活动中使用python2或python3吗？如果你不确定的话。除此之外，这是最有可能远为广泛和主观的主题。
PYSPARK_PYTHON
PYSPARK_DRIVER_PYTHON
bin/pyspark
1条答案
按热度按时间dgsult0t1#
至少从spark 1.2.1开始，如果不使用其他方法设置，则默认的python版本是2.7
PYSPARK_PYTHON或者PYSPARK_DRIVER_PYTHON（见bin/pyspark).python3从spark 1.4.0开始就受到支持（请参阅spark-4897和spark 1.4.0发行说明）。
选择一个而不是另一个应该取决于你的要求。我应该在开发活动中使用python2或python3吗？如果你不确定的话。除此之外，这是最有可能远为广泛和主观的主题。