如何在pig中运行说明命令?

ttp71kqs  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(274)

我还尝试在本地和hdfs模式下对pig中的alias运行illustrate命令。但我的错误正在减少。
2014-08-27 19:18:06703[main]error org.apache.pig.pen.examplegenerator-读取数据时出错。创建作业配置时出现内部错误。java.lang.runtimeexception:创建作业配置时发生内部错误。在org.apache.pig.pen.examplegenerator.getexamples(examplegenerator。java:160)在org.apache.pig.pigserver.getexamples(pigserver。java:1182)位于org.apache.pig.tools.grunt.gruntparser.processillustrate(gruntparser。java:739)在org.apache.pig.tools.pigscript.parser.pigscriptparser.illustrate(pigscriptparser。java:626)在org.apache.pig.tools.pigscript.parser.pigscriptparser.parse(pigscriptparser。java:323)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror(gruntparser。java:194)在org.apache.pig.tools.grunt.gruntparser.parsestoponerror(gruntparser。java:170)在org.apache.pig.tools.grunt.grunt.run(grunt。java:69)在org.apache.pig.main.run(main。java:538)在org.apache.pig.main.main(main。java:157)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.util.runjar.main(runjar。java:208)2014-08-27 19:18:06707[main]错误org.apache.pig.tools.grunt.grunt-错误2997:遇到ioexception。日志文件中的异常详细信息:/opt/pig_.log
我正在使用这个例子运行illustrate命令。
假设输入文件为“visits.txt”,包含以下数据:
艾米cnn.com 20070218 fred harvard.edu 20071204艾米
bbc.com 20071205弗雷德斯坦福大学教育部20071206
grunt会话可能类似这样(注意在加载数据时使用模式)。示例生成器需要您提供别名):

grunt> visits = load 'visits.txt' as (user, url, timestamp);
grunt> recent_visits = filter visits by timestamp >= '20071201';
grunt> user_visits = group recent_visits by user;
grunt> num_user_visits = foreach user_visits generate group, COUNT(recent_visits);
grunt> illustrate num_user_visits
jmp7cifd

jmp7cifd1#

pig.enable.plan.serialization=false/etc/pig/conf/pig.properties

相关问题