hadoop中日志文件的含义

gab6jxml  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(378)

本文试图分析hadoop系统在不同应用(如mapreduce、hbase等)下的作业特性,其中有一些日志文件用于不同的目的,如namenode、datanode和jobtrack。日志文件采用特定格式。有人知道日志文件中每一项的确切含义吗?或者我在哪里可以找到相关的文件?
谢谢!

2ekbmq32

2ekbmq321#

hadoop使用log4j来处理日志。看来你还没有修改配置。我不知道你用的是哪个版本。因此,假设您在这里使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties
输出到控制台的日志格式定义为

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

%日期及其格式。
%p:日志事件的优先级。例如,info,debug,error。
%c:日志事件的类别。在hadoop中,它通常是类名。
%m:日志消息。
%n:与平台相关的行分隔符字符。
更多信息请参见:http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/patternlayout.html
输出示例如下

14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253

相关问题