如何启用hdfs和Map的审计日志?

u59ebvdq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(548)

我是windows下的hadoop-2.6.0用户。我想启用hdfs和Map日志。我可以通过在hadoop-env.cmd中设置以下属性来启用hdfs审核日志,但无法为mapred启用审核日志。

set HDFS_AUDIT_LOGGER=INFO,RFAAUDIT

如果我在hadoop-env.cmd中设置了上述变量,那么hdfs-audit.log文件将存储在%hadoop\u log\u dir%中。
我想启用Map审核日志记录。在%hadoop\u home%\etc\hadoop中的log4j.properties中,我可以看到mapred的日志属性,它粘贴在下面
Map审核日志

mapred.audit.logger=INFO,NullAppender
mapred.audit.log.maxfilesize=256MB
mapred.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.mapred.AuditLogger=${mapred.audit.logger}
log4j.additivity.org.apache.hadoop.mapred.AuditLogger=false
log4j.appender.MRAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.MRAUDIT.File=${hadoop.log.dir}/mapred-audit.log
log4j.appender.MRAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.MRAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.MRAUDIT.MaxFileSize=${mapred.audit.log.maxfilesize}
log4j.appender.MRAUDIT.MaxBackupIndex=${mapred.audit.log.maxbackupindex}

但无法启用Map的审核日志记录。当我更改以下属性时,一个空文件mapred-audit.log存储在%hadoop\u log\u dir%中。

mapred.audit.logger=INFO,MRAUDIT
-
-
-
log4j.additivity.org.apache.hadoop.mapred.AuditLogger=true
-
-

如何启用Map的审核日志?
我们将不胜感激。

aelbi1ox

aelbi1ox1#

我在这里找到了答案
由于我使用的是yarn框架,所以我刚刚在mapred.audit.logger的log4j.properties文件中添加了下面一行

log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger=${mapred.audit.logger}

相关问题