我尝试将HDFS目录下的所有csv文件读取到 Dataframe 中,但出现错误,显示“不是有效的DFS文件名”。有人能帮我指出我做错了什么吗?我也尝试不使用hdfs://部分,但它显示找不到路径。非常感谢。
hdfs://
val filelist = "hdfs://path/to/file/file1.csv,hdfs://path/to/file/file2.csv " val df = spark.read.csv(filelist)
mcdcgff01#
val df = spark.read.csv(filelist:_*)
1条答案
按热度按时间mcdcgff01#