使用累加器的最短pig脚本

iklwldmw 于 2021-06-21 发布在 Pig

关注(0)|答案(1)|浏览(294)

我正在向pig udf添加一个累加器实现，我想测试它。
使用累加器的最短最简单的pig脚本是什么？
为了简单起见，假设它将加载一个包含n个整数的文件，其中n>pig.accumulative.batchsize，这样accumulative（）方法将被多次调用。

data = LOAD 'input' AS (val1:int);

output = ... (code which uses the UDF comes here)

STORE output INTO 'output';

1条答案

看起来这已经足够了：

data = LOAD 'input' AS (val1:int);

output = FOREACH (group d all) GENERATE ACCUMULATIVE_UDF(val1);

STORE output INTO 'output';