如何使用ApachePig递归加载文件

huwehgph 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(269)

我对pig还很陌生，我有一个非常基本的问题：我能让pig加载一个目录中的所有文件，包括子文件夹中的文件吗？以下是我的步骤：

records = LOAD '/worldwide/data/' USING PigStorage() AS (event:chararray, user:chararray);

在这里， repo/data 可能有子文件夹，如

repo/data/region/cluster1
repo/data/region/cluster2

我能让它加载这些子目录和将来可能添加的任何新目录中的所有内容吗？

1条答案

确认上述语句正常工作，并将子目录中的所有数据加载到records变量中。