HDFS Spark将多个csv读入一个 Dataframe -路径错误

nuypyhwy  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(140)

我尝试将HDFS目录下的所有csv文件读取到 Dataframe 中,但出现错误,显示“不是有效的DFS文件名”。有人能帮我指出我做错了什么吗?我也尝试不使用hdfs://部分,但它显示找不到路径。非常感谢。

val filelist = "hdfs://path/to/file/file1.csv,hdfs://path/to/file/file2.csv "
val df = spark.read.csv(filelist)

相关问题