如何在hadoop map作业中访问目录中的文件?

dpiehjr4  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(254)
for(FileStatus status : status_list)
{
  FileInputFormat.addInputPath(job5, status.getPath());
}

我想知道我在输入路径中添加了目录文件。现在,如何在hadoopMap中使用?

brjng4g3

brjng4g31#

你需要使用 MultipleInputs 类而不是 FileInputFormat . 框架工作将负责为Map器的每个文件生成键、值对。

相关问题