我不知道hdfs/用户空间分配在哪里。它在linux文件系统中不可见。但是在hdfs中有一个名为/user的目录。我猜是配置的？它是跨集群中的所有节点创建的吗？
% hadoop fs -mkdir books
% hadoop fs -ls .
Found 2 items
drwxr-xr-x - tom supergroup 0 2009-04-02 22:41 /user/tom/books
-rw-r--r-- 1 tom supergroup 118 2009-04-02 22:29 /user/tom/quangle.txt
1条答案
按热度按时间o2g1uqev1#
您可能已经了解到hdfs是一个分布式文件系统，运行在ext3、4、xfs等文件系统之上。如果使用linux ls命令，您将无法看到这些文件。hdfs有两个部分hdfs metadata dir（name dir）和data dir。创建目录时，一个条目将添加到hdfs元数据中，该元数据是一个文件（fsimage），它位于hdfs namenode dir中。在文件的情况下，一个条目将被添加到hdfs元数据中，底层数据将作为块存储在不同的从属节点中，元数据包含指向这些块的指针。
在hdfs中，元数据是集中的，这意味着hdfs元数据将只存储在namenode服务器上（如果启用了ha，则通常是一台服务器，两台服务器将在那里）。而底层数据将以分布式方式存储。
您可以选择查看fsimage（hdfs元数据）文件的内容，hdfs提供了一个实用工具oiv（脱机图像视图），可用于查看fsimage文件的内容