var hfile=sc.textfile(“hdfs://localhost：9000/ex1/cen.csv“)输入路径不存在错误

cbeh67ev 于 2021-05-27 发布在 Spark

关注(0)|答案(3)|浏览(461)

我正在尝试访问spark中的hadoop文件，但是我得到了这个错误

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/ex1/cen.csv
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)

我可以用hadoop显示这个文件

hadoop dfs -cat ex1/cen.csv

hadoop apache-spark

来源：https://stackoverflow.com/questions/61873840/var-hfile-sc-textfilehdfs-localhost9000-ex1-cen-csv-input-path-does-not

3条答案

按热度按时间

mepcadol1#

我能够解决这个问题，我尝试了命令hdfs dfs-ls/并使用了这个列表中显示的文件夹的目录路径，它工作得很好，我想问题出在路径上。

赞(0）回复(0）举报 2021-05-27

2skhul332#

将hive-site.xml保存到 conf spark文件夹将解决此问题！！

赞(0）回复(0）举报 2021-05-27

jvlzgdj93#

当你尝试

hadoop dfs -cat ex1/cen.csv

在hdfs中读取文件的路径是

/user/.../ex1/cen.csv

但如果你尝试

hadoop dfs -cat /ex1/cen.csv

目录/ex1必须放在根目录/what you're trying to do中

hdfs://localhost:9000/ex1/cen.csv

是从根目录读取，我想，你的文件不在那里，因为

/ex1/cen.csv

ex1/cen.csv

是不同的路径。

赞(0）回复(0）举报 2021-05-27

我来回答

var hfile=sc.textfile(“hdfs://localhost：9000/ex1/cen.csv“)输入路径不存在错误

3条答案

相关问题

热门标签

最新问答