有没有办法在pig中只从csv读取所需的列？

hts6caw3 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(396)

我有一个csv文件，里面大约有50列。我只想从中读取特定的列。我有办法做到吗？
例子：
csv有，col1，col2，col3，col4，col5，col6，…，col50
我要装货

load 'path to file' as (col1, col18, col47);

我想做那样的事。

hadoop csv cloudera apache-pig

来源：https://stackoverflow.com/questions/35249157/is-there-any-way-toread-only-required-columns-from-csv-in-pig

1条答案

按热度按时间

uqjltbpv1#

加载它而不是投影它：

REGISTER 'piggybank.jar'
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'data.csv' USING CSVLoader();
B = FOREACH A GENERATE 
    $0 AS col1,
    $17 AS col18,
    $46 AS col47;
...

赞(0）回复(0）举报 2021-05-29

我来回答

有没有办法在pig中只从csv读取所需的列？

1条答案

相关问题

热门标签

最新问答