我不确定这个问题是否属于这里。如果没有,那我道歉。我正在读hdfs的论文,发现有些术语很难理解。请在下面找到我的问题。
1) 根据这篇论文,“hdfs名称空间是一个文件和目录的层次结构。文件和目录在namenode上由inode表示,inode记录诸如权限、修改和访问时间、名称空间和磁盘空间配额等属性。是指文件的完整路径吗?因为,前面的语句说“hdfs名称空间是文件和目录的层次结构”。
2) 根据“namenode维护名称空间树和文件块到datanodes(文件数据的物理位置)的Map”一文,名称空间树和名称空间是相同的吗?关于命名空间的定义,请参考第1点。命名空间树信息是如何存储的?它是否作为inode的一部分存储,其中每个inode都有一个父inode指针?
3) 根据这篇论文,“hdfs将整个名称空间保存在ram中。inode数据和属于每个文件的块列表构成了名为image的名称系统的元数据?
4) 命名空间id有什么用?它是否用于区分两个不同的文件系统示例?
谢谢,
文卡特
1条答案
按热度按时间1yjd4xko1#
inode中的名称空间信息到底意味着什么。是指文件的完整路径吗?因为前面的语句说“hdfs名称空间是文件和目录的层次结构
这意味着您可以像在系统上一样浏览文件(通过命令,如
hadoop dfs -ls
)您将看到如下结果:/user/hadoop/myFile.txt
但是在物理上,这个文件是根据您的复制因子在集群上以几个块的形式分布的命名空间树和命名空间是否相同?关于命名空间的定义,请参考第1点。命名空间树信息是如何存储的?它是否作为inode的一部分存储,其中每个inode都有一个父inode指针?
当您使用如下命令在hdfs上复制文件时
hadoop dfs -copyFrom local myfile.txt /user/hadoop/myfile.txt
,文件将根据dfs.block.size
值(默认值为64mb)。然后块分布在datanodes(用于存储的节点)上。namenode保留所有块的Map,以便在启动时验证数据的完整性(或使用类似的命令)hadoop fsck /
).图像是否也包含名称空间?
对于这个,我不确定,但我认为名称空间也在ram中。
命名空间id有什么用?它是否用于区分两个不同的文件系统示例?
是的,名称空间id只是一个id,它确保了datanode数据的一致性。
我希望这对你有所帮助,即使它离详尽的解释还很远。