我的输入文件以以下目录格式存储在hdfs中
/data/drain*/*
/data/freight*/*
每个文件夹中几乎有10个json文件。
编写了一个pig脚本来读取输入文件。但是脚本只从/data/drain*/*读取文件,而不从freight目录读取文件。
它显示了pig脚本执行后的以下日志
Successfully read 39 records from /data/drain*/*
Successfully read 0 records from /data/freight*/*
pig脚本中的load语句:
DrainData = load '/data/drain*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
FreightData = load '/data/freight*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
这是hdfs中的目录结构
/data/drain/
/data/freight/
此目录中存在json文件(示例文件)
/data/drain/50499.json
/data/freight/61501.json
我不明白为什么它不能读取货运目录。
感谢您的指导。提前谢谢。
ps:hadoop版本-2.4.0,ApachePig版本-0.12.0
暂无答案!
目前还没有任何答案,快来回答吧!