HDFS 异常错误

0pizxfdo  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(167)

异常错误:文件夹中的路径名/F:/spark/sample_files/column_containing_JSON_data.csv不是有效的DFS文件名。

我提供了本地输入文件路径(如下所示),但它试图访问hdfs路径(/F:/spark/sample_files/column_containing_JSON_data.csv)。引发上述错误。

如果你想在一个文件中找到一个标题,那么你可以在一个文件中找到它。
.csv(“F:\Spark\样本文件\包含JSON数据的列. csv”)

hc8w905p

hc8w905p1#

我也有同样的问题。你必须把file:///放在输入路径之前。
就像这样:

inputFile=spark.read.option("header",True).option("multiline",True).option("escape",""").csv('file:///F:\spark\sample_files\column_containing_JSON_data.csv')

相关问题