apache crunch管道如何生成map reduce作业？

xiozqbni 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(326)

我不熟悉hadoop管道框架，比如crunch/cascading。我想知道在这些框架的底部，它们是否生成了原始的mapper和reducer类，比如原始的mapreduce程序？从crunch源代码中，我没有找到将管道转换为原始mapreduce类的代码。

1条答案

您可以使用代码中的下面几行可视化mapreduce plan crunch创建的。将pipeline.dot中创建的点代码复制到graphviz中以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);