pyspark 错误：“DataframReader”对象不可调用

li9yvcax 于 2023-10-15 发布在 Spark

关注(0)|答案(2)|浏览(119)

在这里，我试图从ADLS读取snappy.parquet文件，而这样做，我得到下面的错误。

input_file_path="/mnt/......./"

df=spark.read.format("delta"(input_file_path+'filename.snappy.parquet')

df_count=df.count()
display(df_count)

请指教

2条答案

这只是一个语法错误-您缺少load：

df=spark.read.format("delta").load(input_file_path+'filename.snappy.parquet')

另外一个错误是，你试图加载一个单独的文件与delta-它不工作与个别文件，但与整个文件夹。如果您需要加载单个文件（出于某种未知原因），则需要使用parquet文件格式。

代码中有两个问题，一个是缺少load语句，另一个是以错误的方式阅读，因此请遵循以下步骤
如果您准备好了在代码中使用的parquet文件格式，则需要指定parquet格式

df=spark.read.format("delta").load(input_file_path+'filename.snappy.parquet')

如果你需要从增量表中读取数据，可以这样指定

df = (
    spark
    .read
    .format("delta")
    .load("yourfolder/")
)