本文试图分析hadoop系统在不同应用(如mapreduce、hbase等)下的作业特性,其中有一些日志文件用于不同的目的,如namenode、datanode和jobtrack。日志文件采用特定格式。有人知道日志文件中每一项的确切含义吗?或者我在哪里可以找到相关的文件?谢谢!
2ekbmq321#
hadoop使用log4j来处理日志。看来你还没有修改配置。我不知道你用的是哪个版本。因此,假设您在这里使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties输出到控制台的日志格式定义为
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
%日期及其格式。%p:日志事件的优先级。例如,info,debug,error。%c:日志事件的类别。在hadoop中,它通常是类名。%m:日志消息。%n:与平台相关的行分隔符字符。更多信息请参见:http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/patternlayout.html输出示例如下
14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253
1条答案
按热度按时间2ekbmq321#
hadoop使用log4j来处理日志。看来你还没有修改配置。我不知道你用的是哪个版本。因此,假设您在这里使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties
输出到控制台的日志格式定义为
%日期及其格式。
%p:日志事件的优先级。例如,info,debug,error。
%c:日志事件的类别。在hadoop中,它通常是类名。
%m:日志消息。
%n:与平台相关的行分隔符字符。
更多信息请参见:http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/patternlayout.html
输出示例如下