hadoop mapreduce set input recursive-找不到方法

tvokkenx  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(259)

我想从一个目录中读取输入,在这个目录中还有其他目录和文件;

  1. Input
  2. -Dir1
  3. -f11.txt
  4. -f12.txt
  5. -Dir2
  6. -f21.txt
  7. -f22.txt

我必须递归地读取输入,解决方案应该是

  1. FileInputFormat.setInputDirRecursive(job, true);

但是,我得到了错误 method not found for FileInputFormat .
我使用的是eclipse,项目的构建路径包含库 hadoop-core-2.6.0-mr1-cdh5.7.0.jar ; 查看hadoop2.6(1)的api,fileinputformat应该具有 setInputDirRecursive(...) 方法,但我的库没有。
我试着在网上寻找这个jar,但是我没有找到一个包含这个方法的jar文件。
此外,我从容器cloudera下载了这些库,其中 hadoop versionHadoop 2.6.0-cdh5.7.0 ,所以它应该是一个有效的jar。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题