运行我的第一个map reduce程序。我在hdfs中使用
hdfs dfs -mkdir input
以这种方式创建的目录驻留在hdfs home dir中,即/usr/hdfs(..?),但是我在linux操作系统的任何地方都找不到上面创建的目录input。有什么想法吗?
j1dl9f461#
实际上,我们无法直接看到hdfs目录,因此有两种方法可以在hdfs文件系统位置查看文件第一种方法来自终端
hdfs dfs -ls /user/cloudera
这样您就可以在名为“cloudera”的目录中看到hdfs文件系统中的文件第二种方法是使用浏览器。http://localhost:50070在此情况下,您必须转到“浏览文件系统”并查看存储在hdfs文件系统中的所有文件。
yr9zkbsy2#
它在hdfs-default.xml中定义:dfs.datanode.data.dir目录确定dfs数据节点应在本地文件系统上的何处存储其块。如果这是一个以逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常存储在不同的设备上。不存在的目录将被忽略。默认值为:文件://${hadoop.tmp.dir}/dfs/data关于hadoop.tmp.dir的详细信息可以在core-default.xml中找到。
ha5z0ras3#
另一种更直接Map目录的方法是使用块设备驱动程序,如hadoop fuse:
yum install hadoop-hdfs-fuse mkdir -p <mount_point> hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port(def:8082)> <mount_point>
3条答案
按热度按时间j1dl9f461#
实际上,我们无法直接看到hdfs目录,因此有两种方法可以在hdfs文件系统位置查看文件
第一种方法来自终端
这样您就可以在名为“cloudera”的目录中看到hdfs文件系统中的文件
第二种方法是使用浏览器。
http://localhost:50070在此情况下,您必须转到“浏览文件系统”并查看存储在hdfs文件系统中的所有文件。
yr9zkbsy2#
它在hdfs-default.xml中定义:
dfs.datanode.data.dir目录
确定dfs数据节点应在本地文件系统上的何处存储其块。如果这是一个以逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常存储在不同的设备上。不存在的目录将被忽略。
默认值为:
文件://${hadoop.tmp.dir}/dfs/data
关于hadoop.tmp.dir的详细信息可以在core-default.xml中找到。
ha5z0ras3#
另一种更直接Map目录的方法是使用块设备驱动程序,如hadoop fuse: