pig示例apache[输入路径不存在]

oknwwptz  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(370)

我正在本地桌面上试用apache pig。
我希望apache页面上的教程是精确的,或者是给出步骤。我安装了pig,只是想粘贴示例代码:from herehttp://pig.apache.org/docs/r0.7.0/setup.html#sample+代码

Local Mode

$ pig -x local
Mapreduce Mode

$ pig
or
$ pig -x mapreduce
For either mode, the Grunt shell is invoked and you can enter commands at the prompt. The results are displayed to your terminal screen (if DUMP is used) or to a file (if STORE is used).

grunt> A = load 'passwd' using PigStorage(':'); 
grunt> B = foreach A generate $0 as id; 
grunt> dump B; 
grunt> store B;

不清楚我是否必须输入pig-x local来尝试grunt命令[可能是pig必须在两种模式中的一种模式下运行,但不清楚如何开箱即用]
在我输入之后

pig -x local

我得到咕噜声提示,但命令失败,说:

Message: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: file:/home/<usr>/passwd

在搜索谷歌时,我会被发送到邮件档案,比如these:http用法://mail archives.apache.org/mod\u mbox/pig user/201109.mbox/%3c4e73658d。3000705@figarocms.fr%3e 这些都很难阅读和理解。
这里有两件事我正在寻找:1]有没有更好的指南来编写pig脚本和udf,在你陷入有线错误之前,它会握着你的手一段时间[至少让你通过编写1-2个udf来分析示例日志]。如果说我有4个小时的时间来写几个简单的pig脚本,那么什么是一个好的起点2]对于我遇到的错误,我可能需要将passwd文件添加到hdfs?不幸的是,“hadoopfs-mkdir-p/home/”表示dir存在。那我现在怎么把文件放在那里。既然我是在本地模式下运行的,有没有办法让hdfs在我的fs上提到的路径上查找文件,而不是每次都把文件放到hdfs上?
谢谢!

jpfvwuh4

jpfvwuh41#

在本地启动pig时,它将连接到本地文件系统:

user@machine~/pig-distrib$ pig -x local
12/08/23 10:10:24 INFO pig.Main: Apache Pig version 0.10.0 (r1328203) compiled Apr 19 2012, 22:54:12
12/08/23 10:10:24 INFO pig.Main: Logging error messages to: /home/user/pig-distrib/logs/pig.log
12/08/23 10:10:24 INFO executionengine.HExecutionEngine: Connecting to hadoop file system at: file:///
grunt> 
...

要查找passwd,可以使用以下选项:
1
复制 /etc/passwd 到执行pig shell的目录,然后可以发出:

grunt> A = load 'passwd' using PigStorage(':');

2
导航到shell中的目录:

grunt> cd /etc
grunt> A = load 'passwd' using PigStorage(':');

三。
或者使用文件的完整路径:

grunt> A = load '/etc/passwd' using PigStorage(':');

您也可以检查这些资源:
http://www.cloudera.com/wp-content/uploads/2010/01/introtopig.pdf
编程Pig在线笔记
http://parand.com/say/index.php/2008/06/19/pig-hadoop-commands-and-sample-results/

相关问题