pyspark-valueerror:无法从空数据集推断架构

mwg9r5ms  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(375)

我已经使用pd.read加载了csv并创建了配置单元上下文,并尝试在pyspak中创建Dataframe。我有以下错误。
valueerror:无法从空数据集推断架构

df = pd.read_csv(file_name, skiprows = 1, sep = ',',quotechar = '"',doublequote=False, names = colums,keep_default_na = False
hive_context = HiveContext(sc)
df[colums] = df[colums].astype(str)
df2 = hive_context.createDataFrame(df)

请帮我解决这个错误。它需要创建空Dataframe并处理下一步。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题