我正在splunk中查看hadoop日志输出。我想看看每个减速机都分配了哪些键。这些信息是由hadoop记录的吗？我应该在查询中使用什么关键字来查找相关的日志行？
rseugnpd1#
简单的回答是：不，reducer不记录与所处理的键或值相关的内容。在bigdata中，记录信息并不是一个好主意，因为日志行的数量可能非常非常大。如果使用少量数据运行某些测试，可以在reducer中包含一些system.out.println行，但在开始处理大量数据时，请注意不要让它们出现。
1条答案
按热度按时间rseugnpd1#
简单的回答是：不，reducer不记录与所处理的键或值相关的内容。
在bigdata中，记录信息并不是一个好主意，因为日志行的数量可能非常非常大。
如果使用少量数据运行某些测试，可以在reducer中包含一些system.out.println行，但在开始处理大量数据时，请注意不要让它们出现。