我已经配置了多个输出来生成两个命名的输出。我想寄一张给 s3n:// 一对一 hdfs:// 这可能吗?
s3n://
hdfs://
axr492tv1#
使用可用的api目前无法做到这一点。这个 MultipleOutputs 如果hadoop mapreduce当前仅适用于(已配置的输出目录的)子目录输出名称,则初始化,这样它就可以处理由推测性执行引起的副作用。但是,您可以重新实现类(或从中派生),以支持这一点,因为这并非不可能实现。如果您计划使实现支持推测性执行,那么您可能还需要更复杂的outputcommitter实现。
MultipleOutputs
1条答案
按热度按时间axr492tv1#
使用可用的api目前无法做到这一点。
这个
MultipleOutputs
如果hadoop mapreduce当前仅适用于(已配置的输出目录的)子目录输出名称,则初始化,这样它就可以处理由推测性执行引起的副作用。但是,您可以重新实现类(或从中派生),以支持这一点,因为这并非不可能实现。如果您计划使实现支持推测性执行,那么您可能还需要更复杂的outputcommitter实现。