给定一个类似csv的字符串，如何加载到sparkDataframe中？

z9smfwbn 于 2021-07-12 发布在 Spark

关注(0)|答案(1)|浏览(192)

这个问题在这里已经有了答案：

无法使用pyspark读取csv字符串（1个答案）
上个月关门了。
我有一个字符串，格式和csv一样，第一行是列名，其余的记录是数据。如何使用pyspark将此字符串加载到Dataframe中。

str = '''
        sale_id, cust_name, amount
        111, abc, 10000
        222, bcd, 15000
      '''

1条答案

找到答案：

import pandas as pd
import io

data = io.StringIO(str)
pd_df = pd.read_csv(data, sep=",")
df = spark.createDataFrame(pd_df)
display(df)