如果你想为一个多列的框架写出一个文本文件，你必须自己连接这些列。在下面的例子中，我用空格分隔不同的列值，并用*替换null值：

import pyspark.sql.functions as F

df = sqlContext.createDataFrame([("foo", "bar"), ("baz", None)], 
                            ('a', 'b'))

def myConcat(*cols):
    concat_columns = []
    for c in cols[:-1]:
        concat_columns.append(F.coalesce(c, F.lit("*")))
        concat_columns.append(F.lit(" "))  
    concat_columns.append(F.coalesce(cols[-1], F.lit("*")))
    return F.concat(*concat_columns)

df_text = df.withColumn("combined", myConcat(*df.columns)).select("combined")

df_text.show()

df_text.coalesce(1).write.format("text").option("header", "false").mode("append").save("output.txt")

这给出输出：

+--------+
|combined|
+--------+
| foo bar|
|   baz *|
+--------+

输出文件应该如下所示

foo bar
baz *

您可以使用以下行轻松地连接列（假设您想要一个位置文件而不是一个分隔文件，对分隔文件使用此方法将需要在每个数据列之间设置分隔列）：

dataFrameWithOnlyOneColumn = dataFrame.select(concat(*dataFrame.columns).alias('data'))

连接列后，您的前一行应该可以正常工作：

dataFrameWithOnlyOneColumn.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")

您还可以将pyspark对象框架转换为pandas，然后将其保存到文件中。大概是这样的：

df_pyspark = spark.createDataFrame(data, schema=columns)

head_rows = df.toPandas()

string_representation = head_rows.to_string(index=False)

with open("file_name.txt", "w") as file:
    file.write(string_representation)