我是hadoop新手。在hadoop中，我知道当namenode失败时，整个hadoop框架都会崩溃。所以这是hadoop中的一个单点故障。求职者也一样吗？因为如果jobtracker宕机，那么在提交作业之后就没有守护进程与namenode联系，也没有运行tasktracker的意义。具体怎么处理？
bt1cpqcv1#
jobtracker ha（使用主备的高可用性）可以在cloudera hadoop发行版中配置。请参见以下链接，此功能从cdh4.2.1开始提供：http://www.cloudera.com/content/cloudera-content/cloudera-docs/cdh4/latest/cdh4-high-availability-guide/cdh4hag_topic_3_1.html也可以在hortwnworks发行版中配置http://docs.hortonworks.com/hdpdocuments/hdp1/hdp-1.3.2/bk_hdp1-system-admin-guide/content/sysadminguides_ha_chap2_5_5.html在mr2中，主服务是resourcemanager，它不是单点故障
3xiyfsfu2#
是的，求职者是一个单一的失败点。如果namenode发生故障，辅助namenode将负责并充当namenode。在mrii中，引入了资源管理器的概念。yarn没有资源管理器，如果一个失败，另一个资源管理器将负责。一个资源管理器处于活动状态，其他资源管理器处于备用模式。
gopyfrb33#
是的，jobtracker是mrv1中的单点故障。如果jobtracker出现故障，所有正在运行的作业都将暂停(http://wiki.apache.org/hadoop/jobtracker).在yarn中，资源管理器不是单一的故障点。如果需要mrv1，可以使用mapr发行版，它提供了jobtracker的高可用性(http://www.mapr.com/resources/videos/demo-hadoop-jobtracker-failing-and-recovering-mapr-cluster).
qaxu7uf24#
如果nn失败，hadoop框架不会崩溃。框架不同，神经网络失效也不同。hadoop框架是所有节点上的一个层。如果name节点关闭，框架就没有数据应该存储在哪里，也没有可用的存储空间。所以不可能得到真实的数据。作业跟踪器与namenode协调以获取要处理的数据。所以当namenode失败时，作业跟踪器也不能正常工作。所以first namenode应该可以正常工作。在hadoop中，这种机制称为namenode单点故障。作业跟踪器负责作业计划和数据处理。如果作业跟踪器不工作，客户机提交一个作业请求，但是客户机不知道该作业应该提交到哪里，应该在哪里处理。但是这个逻辑（你应该提交）应该知道如何解决问题，但是不知道应该提交到哪里。所以作业跟踪器失败，无法处理数据和安排作业。这是大数据分析中最大的问题。现在hadoop2.x解决了这两个问题。yern在namenode级别和datanode级别没有任何单点故障。
4条答案
按热度按时间bt1cpqcv1#
jobtracker ha（使用主备的高可用性）可以在cloudera hadoop发行版中配置。请参见以下链接，此功能从cdh4.2.1开始提供：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/cdh4/latest/cdh4-high-availability-guide/cdh4hag_topic_3_1.html
也可以在hortwnworks发行版中配置
http://docs.hortonworks.com/hdpdocuments/hdp1/hdp-1.3.2/bk_hdp1-system-admin-guide/content/sysadminguides_ha_chap2_5_5.html
在mr2中，主服务是resourcemanager，它不是单点故障
3xiyfsfu2#
是的，求职者是一个单一的失败点。如果namenode发生故障，辅助namenode将负责并充当namenode。在mrii中，引入了资源管理器的概念。yarn没有资源管理器，如果一个失败，另一个资源管理器将负责。一个资源管理器处于活动状态，其他资源管理器处于备用模式。
gopyfrb33#
是的，jobtracker是mrv1中的单点故障。如果jobtracker出现故障，所有正在运行的作业都将暂停(http://wiki.apache.org/hadoop/jobtracker).
在yarn中，资源管理器不是单一的故障点。
如果需要mrv1，可以使用mapr发行版，它提供了jobtracker的高可用性(http://www.mapr.com/resources/videos/demo-hadoop-jobtracker-failing-and-recovering-mapr-cluster).
qaxu7uf24#
如果nn失败，hadoop框架不会崩溃。框架不同，神经网络失效也不同。hadoop框架是所有节点上的一个层。如果name节点关闭，框架就没有数据应该存储在哪里，也没有可用的存储空间。所以不可能得到真实的数据。
作业跟踪器与namenode协调以获取要处理的数据。所以当namenode失败时，作业跟踪器也不能正常工作。所以first namenode应该可以正常工作。在hadoop中，这种机制称为namenode单点故障。
作业跟踪器负责作业计划和数据处理。如果作业跟踪器不工作，客户机提交一个作业请求，但是客户机不知道该作业应该提交到哪里，应该在哪里处理。但是这个逻辑（你应该提交）应该知道如何解决问题，但是不知道应该提交到哪里。所以作业跟踪器失败，无法处理数据和安排作业。
这是大数据分析中最大的问题。现在hadoop2.x解决了这两个问题。yern在namenode级别和datanode级别没有任何单点故障。