关闭。这个问题需要细节或清晰。它目前不接受答案。**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。
7年前关门了。改进这个问题数据节点的数目是6,我在mapred-site.xml中将mapreduce.tasktracker.map.tasks.maximum的值设置为2。当我运行mr作业时,似乎所有map任务都在同时运行(每个节点应该运行2个map任务)。但它在hadoop1.x中运行良好。我的配置有什么问题?谢谢。
j13ufse21#
嗨@xiaomo我真的不明白你说的“好像所有的Map任务都在同时运行”你想要什么?你能说得更具体些吗?粘贴作业过程的完整日志?我猜你想要在每个节点上执行两个Map。我认为如果集群上只运行一个作业,就不会发生这种情况。但是,如果在集群中有2个作业运行,并且mapreduce.tasktracker.map.tasks.maximum设置为2,那么每个节点将有2个Map运行,每个作业一个Map。
1条答案
按热度按时间j13ufse21#
嗨@xiaomo我真的不明白你说的“好像所有的Map任务都在同时运行”你想要什么?你能说得更具体些吗?粘贴作业过程的完整日志?
我猜你想要在每个节点上执行两个Map。我认为如果集群上只运行一个作业,就不会发生这种情况。
但是,如果在集群中有2个作业运行,并且mapreduce.tasktracker.map.tasks.maximum设置为2,那么每个节点将有2个Map运行,每个作业一个Map。