如何在aws emr上使用-t columnmapkeyprune启动pig

bq3bfh9z 于 2021-06-24 发布在 Pig

关注(0)|答案(1)|浏览(401)

在我的pig脚本中，我希望每个记录都有一个文件名，以便进一步处理，所以我使用了-tagfile选项。现在在使用-tagfile选项后，列名变得不对齐，所以我在引用此博客后使用下面的命令只获取所需的列：http://www.webopius.com/content/764/resolved-apache-pig-with-tagsource-tagfile-option-generates-incorrect-columns
pig-x mapreduce-t列mapkeyprune
现在我想在aws emr上运行这个脚本，但是我不知道如何在emr pig上启用-t columnmapkeyprune选项。？
我正在使用awscli创建aws集群并提交作业。任何关于如何在emr pig上启用-t columnmapkeyprune的指针。？

amazon-emr apache-pig

来源：https://stackoverflow.com/questions/45183567/how-to-start-pig-with-t-columnmapkeyprune-on-aws-emr

1条答案

按热度按时间

0ejtzxu11#

我找到解决办法了。我需要在pig脚本中添加以下行：

set pig.optimizer.rules.disabled 'ColumnMapKeyPrune';

赞(0）回复(0）举报 2021-06-24

我来回答

如何在aws emr上使用-t columnmapkeyprune启动pig

1条答案

相关问题

热门标签

最新问答