考虑跑步 Hadoop 作业，其中自定义inputformat需要将几个简单的值从其重写的内部传递给驱动程序类（即，传递给启动作业的类） getSplits() 方法，使用新的 mapreduce api（与 mapred ).
理想情况下，这些值应该返回到内存中（而不是保存到 HDFS 或是去医院 DistributedCache ).
如果这些值只是数字，人们可能会尝试使用 Hadoop 计数器。然而，在许多测试中，计数器似乎不可用 getSplits() 不管怎样，它们只限于数字。
另一种方法是使用 Configuration 作业的对象，如源代码所示，对于两个 getSplits() 还有司机班。
在这种情况下，如果 InputFormat 如果要向driver类“返回”一个（比如）正的long值，则代码如下所示：

// In the custom InputFormat.
public List<InputSplit> getSplits(JobContext job) throws IOException
{
    ...
    long value = ... // A value >= 0
    job.getConfiguration().setLong("value", value);
    ...
}

// In the Hadoop driver class.
Job job = ... // Get the job to be launched
...
job.submit(); // Start running the job
... 
while (!job.isComplete())
{
    ...

    if (job.getConfiguration().getLong("value", -1))
    {
        ...
    }
    else
    {
        continue; // Wait for the value to be set by getSplits()
    }

    ...     
}

上述方法在测试中有效，但这是一种“安全”的价值观交流方式吗？
还是有更好的方法来处理这种内存中的“回调”？
更新
“内存回调”技术可能根本不起作用 Hadoop 因此，如上所述，更安全的方法是，不保存要在 Configuration 对象，创建一个自定义对象，将其序列化（例如，作为json），保存它（在hdfs或分布式缓存中），并在driver类中读取它。我也测试了这种方法，它的工作原理和预期一样。