当我们执行一个普通的wordcount作业时，我们使用mapreduce程序来执行。它不是连续的。但是对于像最短路径分析这样的程序，我们必须设计一个“顺序”mapreduce作业。这两种mapreduce编程方法的基本区别或相似之处是什么。
az31mfrm1#
正如您提到的wordcount作业不是连续的，我假设您使用的是示例wordcount作业，其中键（单词）在map阶段被划分，而处理（count）在reduce阶段被划分。因此，可以在不同的节点上拆分任务并同时执行。我建议您阅读本教程：https://developer.yahoo.com/hadoop/tutorial/module4.html 因此，您将能够认识到，根据可用节点的数量，即使在map阶段，任务也是分布的！关于你的“顺序”mapreduce工作。我想你的意思是没有办法分割处理来达到预期的结果。如果是这样的话，我怀疑你不会从hadoopmapreduce框架中获得最好的结果，因为你的reduce阶段只能在一个节点上进行。不过，如果你做一个快速搜索，我相信你会找到像dijkstra为mapreduce设计的图形处理算法。干杯，马可
1条答案
按热度按时间az31mfrm1#
正如您提到的wordcount作业不是连续的，我假设您使用的是示例wordcount作业，其中键（单词）在map阶段被划分，而处理（count）在reduce阶段被划分。因此，可以在不同的节点上拆分任务并同时执行。
我建议您阅读本教程：https://developer.yahoo.com/hadoop/tutorial/module4.html 因此，您将能够认识到，根据可用节点的数量，即使在map阶段，任务也是分布的！
关于你的“顺序”mapreduce工作。我想你的意思是没有办法分割处理来达到预期的结果。如果是这样的话，我怀疑你不会从hadoopmapreduce框架中获得最好的结果，因为你的reduce阶段只能在一个节点上进行。不过，如果你做一个快速搜索，我相信你会找到像dijkstra为mapreduce设计的图形处理算法。
干杯，马可