hadoop:如何将多个输出发送到两个不同的路径/文件系统?

7xllpg7q  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(368)

我已经配置了多个输出来生成两个命名的输出。我想寄一张给 s3n:// 一对一 hdfs:// 这可能吗?

axr492tv

axr492tv1#

使用可用的api目前无法做到这一点。
这个 MultipleOutputs 如果hadoop mapreduce当前仅适用于(已配置的输出目录的)子目录输出名称,则初始化,这样它就可以处理由推测性执行引起的副作用。
但是,您可以重新实现类(或从中派生),以支持这一点,因为这并非不可能实现。如果您计划使实现支持推测性执行,那么您可能还需要更复杂的outputcommitter实现。

相关问题