在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10mb,我们将在jobconf中设置mapred.job.tracker=local,然后作业将在本地运行。
但昨晚,许多作业失败,runningjob.getjobstate()返回状态3。我不知道为什么,而且标准里什么都没有。
关于这个问题我什么也查不到。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案。
有人知道吗?任何信息,谢谢。
1条答案
按热度按时间czq61nw11#
我相信设置
mapred.job.tracker=local
和你的错误没有关系local
是默认值。此配置参数定义mapreduce作业跟踪器运行的主机和端口。如果设置为“local”,则作业将作为单个map和reduce任务在进程中运行。请参阅此处。