我在一次采访中遇到了这个棘手的问题。问题是谁在数据节点上运行map？答案既不是工作追踪者，也不是任务追踪者。有人能帮我吗
t30tvxxf1#
Datanodes 不要运行任何任务，它们是 HDFS 并负责存储数据。所以“Map到数据节点”毫无意义。
Datanodes
HDFS
rn0zuynd2#
如果系统上安装了hadoop1.x，那么如果task tracker在同一个数据节点上运行，那么task tracker守护进程就是从job tracker获得指令后运行map任务的守护进程。如果数据节点上没有运行任务跟踪器，则该节点上就不能运行Map任务，数据节点负责存储部分，而与Map处理无关。如果是hadoop2.x，那么applicationmaster就是通过与节点管理器和资源管理器协调来实现的实体。
2条答案
按热度按时间t30tvxxf1#
Datanodes不要运行任何任务，它们是HDFS并负责存储数据。所以“Map到数据节点”毫无意义。
rn0zuynd2#
如果系统上安装了hadoop1.x，那么如果task tracker在同一个数据节点上运行，那么task tracker守护进程就是从job tracker获得指令后运行map任务的守护进程。
如果数据节点上没有运行任务跟踪器，则该节点上就不能运行Map任务，数据节点负责存储部分，而与Map处理无关。
如果是hadoop2.x，那么applicationmaster就是通过与节点管理器和资源管理器协调来实现的实体。