pig jobstats找不到输出文件警告

hjzp0vay  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(331)

我使用pig0.11.1(在带有mr1的cdh4上)和dbstorage将聚合结果输出到mysql2。作业似乎运行良好(成功完成并生成输出),但我得到以下警告。我做了一些研究,但未能理解警告的含义或可能产生的影响。如有任何消息,我们将不胜感激。
2014-06-05 06:42:53189[main]信息org.apache.pig.tools.pigstats.jobstats-使用输出大小读取器:org.apache.pig.backend.hadoop.executionengine.mapreducelayer.filebasedoutputsizereader 2014-06-05 06:42:53,192[main]warn org.apache.pig.tools.pigstats.jobstats-找不到输出文件java.io.filenotfoundexception:filehdfs://ph-task201.mydomain.com:8020/user/v5/bycontentv2不存在。在org.apache.hadoop.hdfs.distributedfilesystem.liststatus(distributedfilesystem。java:410)位于org.apache.pig.backend.hadoop.executionengine.mapreducelayer.filebasedoutputsizereader.getoutputsize(filebasedoutputsizereader)。java:65)在org.apache.pig.tools.pigstats.jobstats.getoutputsize(jobstats。java:543)在org.apache.pig.tools.pigstats.jobstats.addoneoutputstats(jobstats。java:567)在org.apache.pig.tools.pigstats.jobstats.addoutputstatistics(jobstats。java:520)在org.apache.pig.tools.pigstats.pigstatutil.addsuccessjobstats(pigstatutil。java:356)在org.apache.pig.tools.pigstats.pigstatutil.accumulatestats(pigstatutil。java:257)在org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher.launchpig(mapreducelauncher。java:324)在org.apache.pig.pigserver.launchplan(pigserver。java:1266)在org.apache.pig.pigserver.executecompiledlogicalplan(pigserver。java:1251)在org.apache.pig.pigserver.execute(pigserver。java:1241)在org.apache.pig.pigserver.executebatch(pigserver。java:335)位于org.apache.pig.tools.grunt.gruntparser.executebatch(gruntparser.org)。java:137)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror(gruntparser。java:198)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror(gruntparser。java:170)在org.apache.pig.tools.grunt.grunt.exec(grunt。java:84)在org.apache.pig.main.run(main。java:604)在org.apache.pig.main.main(main。java:157)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:39)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:25)在java.lang.reflect.method.invoke(方法。java:597)在org.apache.hadoop.util.runjar.main(runjar。java:208)

xbp102n0

xbp102n01#

警告表示您没有写入目录的权限 hdfs://ph-task201.mydomain.com:8020/user/V5/ByContentV2 .

相关问题