对于namenode物理机上的硬盘大小有什么建议吗？当然，它不会像datanode那样存储来自hdfs的任何数据，但是在创建集群时我应该依赖什么呢？
z2acfund1#
我们从cloudera得到消息，他们建议name节点使用更快的磁盘—ssd和10krpm sas驱动器的组合，而不是典型的2tb、7200k sas驱动器。这听起来合理还是过分了，因为我读过的其他东西都表明，hadoop并不需要昂贵的高速存储。
yrwegjxp2#
您可能需要一些空间来实际存储namenode的fsimage、edit文件和其他相关文件。实际上，建议将namenode配置为使用多个目录（一个本地目录和另一个nfs挂载目录），以便存储文件系统元数据的多个副本。这样，只要目录在不同的磁盘上，单个磁盘故障就不会损坏元数据。有关更多详细信息，请参阅此链接。
92dk7w1h3#
namenode上的物理磁盘空间并不重要，除非在同一节点上运行datanode。但是，为namenode分配良好的内存（ram）空间非常重要。这是因为namenode将hdfs的所有元数据（块分配、块位置等）存储在内存中。如果没有分配足够的内存，namenode可能会耗尽内存并失败。
3条答案
按热度按时间z2acfund1#
我们从cloudera得到消息，他们建议name节点使用更快的磁盘—ssd和10krpm sas驱动器的组合，而不是典型的2tb、7200k sas驱动器。这听起来合理还是过分了，因为我读过的其他东西都表明，hadoop并不需要昂贵的高速存储。
yrwegjxp2#
您可能需要一些空间来实际存储namenode的fsimage、edit文件和其他相关文件。
实际上，建议将namenode配置为使用多个目录（一个本地目录和另一个nfs挂载目录），以便存储文件系统元数据的多个副本。这样，只要目录在不同的磁盘上，单个磁盘故障就不会损坏元数据。
有关更多详细信息，请参阅此链接。
92dk7w1h3#
namenode上的物理磁盘空间并不重要，除非在同一节点上运行datanode。但是，为namenode分配良好的内存（ram）空间非常重要。这是因为namenode将hdfs的所有元数据（块分配、块位置等）存储在内存中。如果没有分配足够的内存，namenode可能会耗尽内存并失败。