我在1个主节点和25个核心节点上运行amazonelasticmapreduce(emr)作业。引导操作在主节点上完成,但它们挂起在核心节点上~然后,构成map步骤的5000个(共5200个)任务报告为“正在运行”,而其余的任务报告为“挂起”,因为核心节点处于挂起状态,但是实际上什么都没有运行;我可以告诉你,因为没有中间输出被写入。大约30分钟后,所有以前“正在运行”的任务都会被标记为“killed\u unclean”并转移到“pending”。几分钟后,引导操作在核心节点上完成,但没有一个任务会从“pending”转移到“running”
当我用2个核心节点而不是25个节点运行我的作业时,这个问题不会出现;任务按预期完成。可能有什么问题,我该怎么解决?
1条答案
按热度按时间6ie5vjzr1#
托特是对的;我把mapred.tasktracker.map.tasks.maximum设置得太高了,内存需求太荒谬了。亚马逊的默认值在这里通常是合适的。