以前关于此错误的问题的答案是，您需要做的只是更新您的spark版本。我刚刚删除了早期版本的spark，并安装了为hadoop2.6.0构建的spark1.6.3。
我试过这个：

s_df = sc.createDataFrame(pandas_df)

出现了这个错误：

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-8-4e8b3fc80a02> in <module>()
      1 #creating a spark dataframe from the pandas dataframe
----> 2 s_df = sc.createDataFrame(pandas_df)

AttributeError: 'SparkContext' object has no attribute 'createDataFrame'

有人知道为什么吗？我试着删除并重新安装相同的1.6版本，但它不适合我。
以下是我为了让pyspark正常工作而处理的环境变量：

PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin"
export PATH

# Setting PATH for Python 2.7

# The orginal version is saved in .bash_profile.pysave

PATH="/Library/Frameworks/Python.framework/Versions/2.7/bin:${PATH}"
export PATH

# added by Anaconda installer

export PATH="/Users/pr/anaconda:$PATH"

# path to JAVA_HOME

export JAVA_HOME=$(/usr/libexec/java_home)

# Spark

export SPARK_HOME="/Users/pr/spark" #version 1.6
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_SUBMIT_ARGS="--master local[2]"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

我是否需要单独安装hadoop？我跳过了这一步，因为我运行的代码不需要它。