hdfs目录在linux中驻留在哪里?

v6ylcynt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(1411)

运行我的第一个map reduce程序。我在hdfs中使用

hdfs dfs -mkdir input

以这种方式创建的目录驻留在hdfs home dir中,即/usr/hdfs(..?),但是我在linux操作系统的任何地方都找不到上面创建的目录input。有什么想法吗?

j1dl9f46

j1dl9f461#

实际上,我们无法直接看到hdfs目录,因此有两种方法可以在hdfs文件系统位置查看文件
第一种方法来自终端

hdfs dfs -ls /user/cloudera

这样您就可以在名为“cloudera”的目录中看到hdfs文件系统中的文件
第二种方法是使用浏览器。
http://localhost:50070在此情况下,您必须转到“浏览文件系统”并查看存储在hdfs文件系统中的所有文件。

yr9zkbsy

yr9zkbsy2#

它在hdfs-default.xml中定义:
dfs.datanode.data.dir目录
确定dfs数据节点应在本地文件系统上的何处存储其块。如果这是一个以逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常存储在不同的设备上。不存在的目录将被忽略。
默认值为:
文件://${hadoop.tmp.dir}/dfs/data
关于hadoop.tmp.dir的详细信息可以在core-default.xml中找到。

ha5z0ras

ha5z0ras3#

另一种更直接Map目录的方法是使用块设备驱动程序,如hadoop fuse:

yum install hadoop-hdfs-fuse
  mkdir -p <mount_point>
  hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port(def:8082)> <mount_point>

相关问题