我有一个MapReduce作业要在amazon emr上运行。我想有多达400Map器和还原，我想使用中型或大型示例。如何估计需要的示例数。另外，如果一个工作在2分钟内结束，比方说，我运行另一个工作需要4分钟，我会被收取2小时的费用还是1小时的费用？
brgchamk1#
我知道，如果使用cli工具创建作业流并添加步骤，则可以在同一作业流上逐个运行这两个步骤，并且它们将在同一小时内计数。我相信如果你使用图形用户界面，那么你就不能重复使用作业流，因此你可能会被收取一个小时的每项工作。我还没试过，所以可能不对。查看这篇文章，我从中获得了以下信息：https://cwiki.apache.org/confluence/display/mahout/mahout+on+elastic+mapreduce
1条答案
按热度按时间brgchamk1#
我知道，如果使用cli工具创建作业流并添加步骤，则可以在同一作业流上逐个运行这两个步骤，并且它们将在同一小时内计数。
我相信如果你使用图形用户界面，那么你就不能重复使用作业流，因此你可能会被收取一个小时的每项工作。我还没试过，所以可能不对。
查看这篇文章，我从中获得了以下信息：
https://cwiki.apache.org/confluence/display/mahout/mahout+on+elastic+mapreduce