我的nutch运行在hadoop上,我想检查nutch运行日志,但是找不到像独立nutch日志那样的输出日志。
brqmpdu11#
如果在hadoop上运行nutch,则会生成对应于每个阶段的Map器和缩减器的日志。它的位置是 {HADOOP_LOG_DIR}/userlogs/<task id>/syslog
{HADOOP_LOG_DIR}/userlogs/<task id>/syslog
ndh0cuux2#
如果您在分布式或伪分布式模式下运行hadoop,那么您应该能够使用map reduce管理接口(例如主节点的端口50030)访问每个作业的日志。有关hadoop中日志的位置,请参见此链接。
2条答案
按热度按时间brqmpdu11#
如果在hadoop上运行nutch,则会生成对应于每个阶段的Map器和缩减器的日志。它的位置是
{HADOOP_LOG_DIR}/userlogs/<task id>/syslog
ndh0cuux2#
如果您在分布式或伪分布式模式下运行hadoop,那么您应该能够使用map reduce管理接口(例如主节点的端口50030)访问每个作业的日志。
有关hadoop中日志的位置,请参见此链接。