我是hadoop的初学者。我有两个疑问1） 如何访问存储在hdfs中的文件？这与在java.io中使用filereader并给出本地路径是一样的还是其他什么？2） 我已经创建了一个文件夹，在那里我复制了要存储在hdfs中的文件和mapreduce程序的jar文件。当我在任何目录下运行命令时
${HADOOP_HOME}/bin/hadoop dfs -ls
它只显示当前目录中的所有文件。那是不是意味着所有的文件都是在我没有明确添加的情况下添加的？
n8ghc7c11#
是的，差不多。阅读这篇文章从hdfs读取文件。您应该记住hdfs与本地文件系统不同。与 hadoop dfs 您可以访问hdfs，而不是本地文件系统。所以， hadoop dfs -ls /path/in/HDFS 向您显示 /path/in/HDFS 目录，而不是本地目录。这就是为什么它是一样的，无论你从哪里运行它。如果您想“上传”/“下载”文件到hdfs或从hdfs下载文件，您应该使用commads： hadoop dfs -copyFromLocal /local/path /path/in/HDFS 以及 hadoop dfs -copyToLocal /path/in/HDFS /local/path 分别是。
hadoop dfs
hadoop dfs -ls /path/in/HDFS
/path/in/HDFS
hadoop dfs -copyFromLocal /local/path /path/in/HDFS
hadoop dfs -copyToLocal /path/in/HDFS /local/path
1条答案
按热度按时间n8ghc7c11#
是的，差不多。阅读这篇文章从hdfs读取文件。
您应该记住hdfs与本地文件系统不同。与
hadoop dfs您可以访问hdfs，而不是本地文件系统。所以，hadoop dfs -ls /path/in/HDFS向您显示/path/in/HDFS目录，而不是本地目录。这就是为什么它是一样的，无论你从哪里运行它。如果您想“上传”/“下载”文件到hdfs或从hdfs下载文件，您应该使用commads：
hadoop dfs -copyFromLocal /local/path /path/in/HDFS以及hadoop dfs -copyToLocal /path/in/HDFS /local/path分别是。