到目前为止，我在一个pig脚本中只使用了两个store语句。在一个pig脚本中使用多个store语句有什么限制吗？
A = load 'page_views';
store A into 'tmp1' using PigStorage();
B = load 'tmp1' using PigStorage();
C = filter B by $0 is not null;
store C into 'tmp2';
....
....
store D into 'tmp3';到目前为止，我在一个pig脚本中只使用了两个store语句。在一个pig脚本中使用多个store语句有什么限制吗？
A = load 'page_views';
store A into 'tmp1' using PigStorage();
B = load 'tmp1' using PigStorage();
C = filter B by $0 is not null;
store C into 'tmp2';
....
....
store D into 'tmp3';
1条答案
按热度按时间zysjyyx41#
带有多个store命令的脚本可能会导致大量重复工作，但这在很大程度上取决于如何使用pig。从技术上讲，在单个脚本中没有存储语句的最大数目。但是，如果做得不对，可能会遇到一些性能问题。ApachePigWiki中有一篇关于性能的非常简洁的文章，您可能会找到有用的阅读资料。在多查询优化方面，jira也提出了一个问题。