有人在hadoop流媒体作业中使用mapred.job.tracker=local吗?

eoxn13cs  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(326)

在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10mb,我们将在jobconf中设置mapred.job.tracker=local,然后作业将在本地运行。
但昨晚,许多作业失败,runningjob.getjobstate()返回状态3。我不知道为什么,而且标准里什么都没有。
关于这个问题我什么也查不到。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案。
有人知道吗?任何信息,谢谢。

czq61nw1

czq61nw11#

我相信设置 mapred.job.tracker=local 和你的错误没有关系 local 是默认值。此配置参数定义mapreduce作业跟踪器运行的主机和端口。如果设置为“local”,则作业将作为单个map和reduce任务在进程中运行。
请参阅此处。

相关问题