我需要知道Map器在减速机中输出的记录数。只有一个减速机，所以我想这就简化了事情。我的第一个想法是在Map器中增加一个计数器，然后在reducer中得到它，后来我发现这样一个计数器已经存在了，但似乎它“不是有意”从reducer中读取，而只是从驱动程序中读取。我应该使用计数器以及如何正确使用它，还是有其他方法？
2nbm6dog1#
是的，你可以利用一些固有的计数器，这些计数器甚至会在你的mr工作结束时被丢弃。在上搜索“Map输出记录”https://martin.atlassian.net/wiki/x/sybmaq 查看读取的记录总数的示例。您还可以创建自己的计数器，如中的“wordsbylength”所示https://github.com/lestermartin/hadoop-exploration/blob/master/src/main/java/lestermartin/hadoop/exploration/wordcount/wordsizemapper.java.
1条答案
按热度按时间2nbm6dog1#
是的，你可以利用一些固有的计数器，这些计数器甚至会在你的mr工作结束时被丢弃。在上搜索“Map输出记录”https://martin.atlassian.net/wiki/x/sybmaq 查看读取的记录总数的示例。
您还可以创建自己的计数器，如中的“wordsbylength”所示https://github.com/lestermartin/hadoop-exploration/blob/master/src/main/java/lestermartin/hadoop/exploration/wordcount/wordsizemapper.java.