我有一个关于名称节点高可用性的问题。name节点非常重要，因为它存储所有元数据，如果它关闭，整个hadoop集群也将关闭。那么，有什么好的方法来实现名称节点的高可用性吗？例如，有一个备份名称节点可以在主名称节点出现故障时接管它(现在我使用hadoop1.1.2）
7bsow1i61#
对于asf hadoop 1.1.2，没有实体namenode ha选项。这些是为2.0发布的，并包含在流行的发行版中，如cloudera的cdh4。namenode ha的选项包括运行主namenode和热备用namenode。它们共享一个编辑日志，要么在nfs挂载上，要么通过hdfs本身的仲裁日志模式。前者的好处是有一个外部源来存储hdfs元数据，而后者的好处是没有hadoop外部的依赖关系。就我个人而言，我喜欢nfs选项，因为您可以轻松地对驻留在文件服务器上的数据进行快照/备份。这种方法的缺点是潜在的延迟性能不一致。有关详细信息，请参阅以下文章：http://www.slideshare.net/hortonworks/nn-ha-hadoop-worldfinal-10173419http://blog.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/hdfshighavailabilitywithnfs.html
1条答案
按热度按时间7bsow1i61#
对于asf hadoop 1.1.2，没有实体namenode ha选项。这些是为2.0发布的，并包含在流行的发行版中，如cloudera的cdh4。
namenode ha的选项包括运行主namenode和热备用namenode。它们共享一个编辑日志，要么在nfs挂载上，要么通过hdfs本身的仲裁日志模式。前者的好处是有一个外部源来存储hdfs元数据，而后者的好处是没有hadoop外部的依赖关系。
就我个人而言，我喜欢nfs选项，因为您可以轻松地对驻留在文件服务器上的数据进行快照/备份。这种方法的缺点是潜在的延迟性能不一致。
有关详细信息，请参阅以下文章：
http://www.slideshare.net/hortonworks/nn-ha-hadoop-worldfinal-10173419
http://blog.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/hdfshighavailabilitywithnfs.html