有没有办法在pig中只从csv读取所需的列?

hts6caw3  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(448)

我有一个csv文件,里面大约有50列。我只想从中读取特定的列。我有办法做到吗?
例子:
csv有,col1,col2,col3,col4,col5,col6,…,col50
我要装货

  1. load 'path to file' as (col1, col18, col47);

我想做那样的事。

uqjltbpv

uqjltbpv1#

加载它而不是投影它:

  1. REGISTER 'piggybank.jar'
  2. DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
  3. A = LOAD 'data.csv' USING CSVLoader();
  4. B = FOREACH A GENERATE
  5. $0 AS col1,
  6. $17 AS col18,
  7. $46 AS col47;
  8. ...

相关问题