有两种可能：或者从分布式文件系统读取map/reduce任务中的数据。或者直接将其添加到分布式缓存中。我刚在谷歌上搜索了分布式缓存的大小，它可以控制：
“local.cache.size参数控制distributedcache的大小。默认设置为10 gb。”
链接到cloudera博客
因此，如果您将第一个作业的输出添加到第二个作业的分布式缓存中，我认为应该可以。数以万计的条目远未达到千兆字节的范围。
将文件添加到分布式缓存的步骤如下：
要读入Map器：

Path[] uris = DistributedCache.getLocalCacheFiles(context.getConfiguration());
String patternsFile = uris[0].toString();
BufferedReader in = new BufferedReader(new FileReader(patternsFile));

要添加到dbcache：

DistributedCache.addCacheFile(new URI(file), job.getConfiguration());

当你准备第二份工作的时候。
让我知道这是否有用。