PigJavaUDF：从元组生成包

cbeh67ev 于 2021-06-24 发布在 Pig

关注(0)|答案(1)|浏览(280)

我希望有人能帮助我创建一个java udf，它将把这些输入分散在三个文本文件中：

Montreal, 5 3 10 9 8
Toronto, 7 2 2 3 4 4
Edmonton, 3 3 1 1 7
Montreal, 2 2 9

并返回以下输出袋：

{(Montreal,5),(Montreal,3),(Montreal,10),(Montreal,9),(Montreal,8),(Montreal,2),(Montreal,2),(Montreal,9)}
{(Toronto,7),(Toronto,2),(Toronto,2),(Toronto,3),(Toronto,4),(Toronto,4)}

我是java新手，非常感谢您的帮助。谢谢您。

user-defined-functions apache-pig

来源：https://stackoverflow.com/questions/49349716/pig-java-udf-generating-a-bag-from-a-tuple

1条答案

按热度按时间

cwtwac6a1#

如果您使用的是pig 0.14或更高版本支持strsplittobag，那么

A = load 'test.input' using PigStorage(',') as (place:chararray, numbers:chararray);
B = FOREACH A GENERATE place, FLATTEN(STRSPLITTOBAG(numbers)) as number;
C = FOREACH B GENERATE place, (chararray) number;
D = GROUP C by place;
E = FOREACH D generate C; -- dropping group field
dump E;

输出

({(Toronto,2),(Toronto,2),(Toronto,7),(Toronto,4),(Toronto,4),(Toronto,3)})
({(Edmonton,7),(Edmonton,1),(Edmonton,1),(Edmonton,3),(Edmonton,3)})
({(Montreal,9),(Montreal,2),(Montreal,2),(Montreal,8),(Montreal,9),(Montreal,10),(Montreal,3),(Montreal,5)})

赞(0）回复(0）举报 2021-06-24

我来回答

PigJavaUDF：从元组生成包

1条答案

相关问题

热门标签

最新问答