我将cloudera cdh5与pig0.13一起使用（也尝试了pig0.12.1），我正在构建自己的定制loadfunc，我有一个简单的脚本，可以使用新的loadfunc进行加载。
磨合时 local 模式一切正常，输出正确。
但是当你跑进去的时候 mapreduce 模式（仍在本地），我得到错误：
Unable to open iterator for alias output_hash
at org.apache.pig.PigServer.openIterator(PigServer.java:880)
at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:774)
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)
at org.apache.pig.Main.run(Main.java:478)
at org.apache.pig.Main.main(Main.java:156)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.io.IOException: Job terminated with anomalous status FAILED
at org.apache.pig.PigServer.openIterator(PigServer.java:872)
... 12 more我尝试将属性verbose设置为true或traces设置为debug，但没有得到有用的信息。
关于如何解决或调试这个问题有什么见解吗？
1条答案
按热度按时间w1e3prcc1#
找到了解决办法。问题是，我使用maven来构建项目，并且我在构建带有依赖项的jar。这导致具有相同类路径的类名的依赖项相互覆盖（如filesystem.java for hadoop hdfs和hadoop common），解决方案只是构建jar而不包含依赖项。