我有一个用python编写的mapreduce作业,使用mrjob库。在我的本地机器上完成这项工作大约需要30分钟。在emr上运行同一个作业时,我发现很长一段时间没有输出(~=1小时)。我不得不结束工作。而且在我的本地机器上花费很小时间的作业在emr上运行得很好。我试图增加超时时间,但任务跟踪器在超时后杀死了减速机。我收到以下错误消息
`Task attempt_201301181027_0001_r_000000_0 failed to report status for 3600 seconds.Killing!
emr为我的工作创建了4个Map器和一个缩减器。另外,我编写的reducer代码需要在整个数据集(大约11-12mb)中进行大量循环。我希望这项工作在大约相同的时间内完成,因为我的本地机器,但它没有发生。解决办法是什么`
暂无答案!
目前还没有任何答案,快来回答吧!