pig无法读取存储在hdfs中的输入文件

x7rlezfr  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(231)

我的输入文件以以下目录格式存储在hdfs中

/data/drain*/*
/data/freight*/*

每个文件夹中几乎有10个json文件。
编写了一个pig脚本来读取输入文件。但是脚本只从/data/drain*/*读取文件,而不从freight目录读取文件。
它显示了pig脚本执行后的以下日志

Successfully read 39 records from /data/drain*/*
Successfully read 0 records from /data/freight*/*

pig脚本中的load语句:

DrainData = load '/data/drain*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
FreightData = load '/data/freight*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();

这是hdfs中的目录结构

/data/drain/
/data/freight/

此目录中存在json文件(示例文件)

/data/drain/50499.json
/data/freight/61501.json

我不明白为什么它不能读取货运目录。
感谢您的指导。提前谢谢。
ps:hadoop版本-2.4.0,ApachePig版本-0.12.0

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题