未处理的内部错误在pig中使用explain时的java堆空间

zlhcx6iw  于 2021-06-24  发布在  Pig
关注(0)|答案(1)|浏览(279)

当我尝试使用以下语句时

explain -brief A;

我犯了以下错误

2013-02-06 19:18:34,250 [Low Memory Detector] INFO     org.apache.pig.impl.util.SpillableMemoryManager - first memory handler call - Collection threshold init = 526123008(513792K) used = 349984528(341781K) committed = 699072512(682688K) max = 699072512(682688K)
2013-02-06 19:18:34,942 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. Java heap space

我试图通过添加选项来增加堆空间大小

-Dmapred.child.java.opts=-Xmx4096m

但没用。你知道吗?
谢谢。丹

dpiehjr4

dpiehjr41#

增加pig堆空间 export PIG_HEAPSIZE=4096 不过,如果您在虚拟机中运行pig,请确保已为虚拟机分配了超过4gb(或您想要设置的任何数量)的内存。如果你已经分配了 X gb到vm,然后将堆大小增加到 X gb什么都不会做。
此外,这可能是一个问题与Pig释放你正在使用。
试着使用一个旧的Pig释放。我得到了与pig-0.14.0相同的可复制问题,但pig-0.12.1没有

相关问题