有人能帮我理解hadoop的数据存储概念吗？据我所知，hadoop处理fs image和数据块，fsimage和edit logs路径存储在hdfs-site.xml中。但是数据块呢？有人能帮我吗？我有点困惑/user和/tmp dir在文件系统中的实际位置。我使用此链接设置了一个单节点hadoop群集：http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
bzzcjhmw1#
namenode的fsimage跟踪哪个datanode有哪些文件。在hdfs-site.xml文件中，配置“dfs.data.dir”定义了datanode在文件系统上存储底层文件的位置。这可以是一个以逗号分隔的目录列表（比如多个磁盘）。
7gyucuyw2#
文件被分割成块并存储在hadoop分布式文件系统（hdfs）中。有关hdfs的描述，请参阅yahoo的hadoop教程中的hdfs模块。通过在终端中键入以下命令，可以查看存储在hdfs中的目录： hadoop dfs -ls
hadoop dfs -ls
2条答案
按热度按时间bzzcjhmw1#
namenode的fsimage跟踪哪个datanode有哪些文件。在hdfs-site.xml文件中，配置“dfs.data.dir”定义了datanode在文件系统上存储底层文件的位置。这可以是一个以逗号分隔的目录列表（比如多个磁盘）。
7gyucuyw2#
文件被分割成块并存储在hadoop分布式文件系统（hdfs）中。有关hdfs的描述，请参阅yahoo的hadoop教程中的hdfs模块。通过在终端中键入以下命令，可以查看存储在hdfs中的目录：
hadoop dfs -ls