pig作业失败，返回“org.apache.hadoop.mapreduce.counters.limitexceededexception:太多计数器：121 max=120”

enxuqcxy 于 2021-05-31 发布在 Hadoop

关注(0)|答案(1)|浏览(492)

我们正在处理5000万个数据，处理完之后，我们在pig脚本中使用rank函数，pig作业在执行rank函数时失败，我们得到以下错误：“org.apache.hadoop.mapreduce.counters.limitexceededexception:太多计数器：121 max=120”
我们在pig脚本中使用了下面的命令，但仍然得到相同的错误：
设置mapreduce.job.counters.max 1000
我真的很感激，如果有人能帮我通过这个错误，或可以为我提供另一种方法，使用5000多万处理数据排名函数。

hadoop mapreduce bigdata apache-pig pig-udf

来源：https://stackoverflow.com/questions/54294457/pig-job-fails-with-org-apache-hadoop-mapreduce-counters-limitexceededexception

1条答案

按热度按时间

vtwuwzda1#

检查mapred-site.xml计数器限制值。该限制很可能在该文件中设置为120。该文件位于hadoop主目录中，例如：$hadoop\u home/conf/mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

在hadoop2.0中 mapreduce.job.counters.max ```

mapreduce.job.counters.max
1000 -- Most likely this is set to 120 in your case.

赞(0）回复(0）举报 2021-06-01

我来回答

pig作业失败，返回“org.apache.hadoop.mapreduce.counters.limitexceededexception:太多计数器：121 max=120”

1条答案

相关问题

热门标签

最新问答