我已经写了几个Pig脚本,我已经包括在一个Pig主脚本使用运行。在pig主脚本中包含所有脚本的原因是,我们正在对所有变量(每个脚本中投影的变量->模式)进行最后一次左连接,以创建一个大文件。问题:执行需要很长时间才能完成。目前需要27分钟以上,预计时间为5-6分钟。集群信息:amazon上的10节点集群(xlarge)。有什么办法可以解决这个问题吗。
j5fpnvbx1#
也许这会有帮助:
http://pig.apache.org/docs/r0.12.1/perf.html
或者这个:
http://chimera.labs.oreilly.com/books/1234000001811/ch08.html
1条答案
按热度按时间j5fpnvbx1#
也许这会有帮助:
或者这个: