我有一个三节点集群，当avro作业完成时，它会创建三个输出文件（分割文件），但是，我只想输出一个文件。有什么建议吗？
mzillmmw1#
设置mapred.reduce.tasks=1，但这可能会增加执行时间。也可以使用hadoop-getmerge命令在作业结束后获取单个文件。
1条答案
按热度按时间mzillmmw1#
设置mapred.reduce.tasks=1，但这可能会增加执行时间。
也可以使用hadoop-getmerge命令在作业结束后获取单个文件。