阿列克谢·谢斯塔科夫给出的解决方案将会奏效。但它并没有利用mapreduce的分布式处理框架。可能只有一个map进程将读取文件（包含所有输入文件路径的文件），然后处理输入数据。如何将目录中的所有文件分配给Map器，使Map器的数量等于目录的数量？一个解决方案可以使用“org.apache.hadoop.mapred.lib.multipleinputs”类。使用multipleinputs.addinputpath（）为每个目录路径添加目录和Map类。现在，每个Map器可以获得一个目录并处理其中的所有文件。

您可以创建一个包含要处理的所有目录列表的文件：

/path/to/directory1
/path/to/directory2
/path/to/directory3

每个Map器将处理一个目录，例如：

@Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            FileSystem fs = FileSystem.get(context.getConfiguration());
            for (FileStatus status : fs.listStatus(new Path(value.toString()))) {
                // process file
            }
        }

hadoop框架是否会将目录平均分配到集群的各个节点（例如，目录1到node1，目录2到node2……等等）并并行处理？
不，不会的。文件不会分发到每个节点，因为文件会复制到要处理的节点。相反，简单地说，每个节点都有一组要处理的文件路径，而不保证位置或数据局部性。然后datanode从hdfs中提取该文件并对其进行处理。
没有理由不直接从hdfs打开可能需要的其他文件。