使用pig加载csv

ocebsuys 于 2021-06-21 发布在 Pig

关注(0)|答案(1)|浏览(420)

我正在尝试使用 Pig ，但是csv文件的某些列中已经包含了逗号，所以使用pigstorage（'，'）给了我错误的答案。
我已经试过了：

REGISTER /......./piggybank.jar

LOAD '...PATH_TO_INPUT_FILE' USING CSVLoader(',') AS (...fieldnames)

和

LOAD '...PATH_TO_INPUT_FILE' USING CSVExcelStorage(',') AS (...fieldnames)

它们都没有达到预期的效果。如果记录的值中不包含逗号，则可以正常工作，但其余的则不行。

1条答案

您是否定义了csvloader（）或csvexcelstorage（）方法？

DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();

或者

DEFINE CSVExcelStorage() org.apache.pig.piggybank.storage.CSVExcelStorage();

或者你可以像这样直接引用这个方法

LOAD 'test.txt' USING org.apache.pig.piggybank.storage.CSVLoader(',')
LOAD 'test.txt' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',')