pig中的参数替换

b09cbbtk 于 2021-06-25 发布在 Pig

关注(0)|答案(2)|浏览(434)

students = load '/home/vm4learning/Desktop/students-db.txt' using PigStorage('|') as (rnum, sname, name, age, gender, class, subject, marks);

我在使用/home/vm4learning/desktop/students-db.txt的参数替换时遇到语法错误。那么这里使用的正确命令和正确的语法是什么呢。
谢谢

2条答案

您需要指定pig加载脚本的hdfs路径
首先需要在hdfs中复制输入文件，然后可以在pig脚本中指定hdfs路径
您可以使用hadoop put命令将输入文件复制到hdfs中，使用：

hadoop fs -put /home/vm4learning/Desktop/students-db.txt /user/input

然后你可以在你的Pig脚本中使用这个路径

students = load '/user/input/students-db.txt' using PigStorage('|') as (.....);

将pig脚本保存在扩展名为.pig文件的文件中。
过程.清管器：

students = load '$inputPath' using PigStorage('|') as (.....);

现在，您可以从终端发出以下命令，通过将输入路径作为参数传递来执行pig文件：

pig -p inputPath=/user/input/students-db.txt process.pig

更多详情请点击这里

使用pig-x filename dryrun-param key=value-param key2=value2