apachepig,运行一个pig脚本,并在沙盒中传递参数

iqih9akk  于 2021-06-24  发布在  Pig
关注(0)|答案(0)|浏览(251)

我在关注这个,
但我用的是hortonworks沙盒,
我正在运行以下命令:

[maria_dev@sandbox-hdp ~]$ pig -x local -f /home/maria_dev/s1.pig -p did=1

我得到一个错误:

Input(s):
Failed to read data from "/user/maria_dev/complex_2.txt"

Output(s):
Failed to produce result in "file:/tmp/temp71538092/tmp1285302214"

s1.pig的内容是:

a = LOAD 'hdfs://user/maria_dev/complex_2.txt'  USING PigStorage(' ') AS (T:tuple(driverId:int,week:int),M:[mileslogged:int]);
B = FILTER a BY T.driverId>$did;
DUMP B;

我运行了s1.pig,有“hdfs://”和没有“hdfs://”,但错误是相同的。
/user/maria\u dev中的所有文件都有777权限,grunt中的s1.pig执行时没有任何错误。
和/user/maria\u dev文件夹的内容

以及试运行的结果

pig -x local -f /home/maria_dev/s1.pig -p did=1 -dryrun

看起来很好,如下所示

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题