hadoopPig结构变化

xmd2e60i  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(369)

你能帮我改变一下文件的结构吗?
例如:
我有一个带2个分隔符的字符串:

1;2,3,4;2

我要将其更改为带1个分隔符的raws:

1;2;2
1;3;2
1;4;2
31moq8wy

31moq8wy1#

Pig脚本:

A = LOAD 'a.csv' USING PigStorage(';') AS (value1:chararray,value2:chararray,value3:chararray);
 B = FOREACH A GENERATE value1, FLATTEN(TOKENIZE(value2, ',')), value3;
 DUMP B;

输入:

1;2,3,4;2

输出:

(1,2,2)
(1,3,2)
(1,4,2)

我们可以使用存储b;作为分隔符。

STORE B INTO 'requiredOutputLocation' USING PigStorage(';');

相关问题