无法查看资源管理器的日志

uujelgoq 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(567)

我尝试了各种命令，但在查看Yarn日志时仍然存在问题，下面是我查看日志所遵循的步骤

[root@iop-rm1 /]# yarn application -list

17/04/03 13:15:21 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032

Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1

            Application-Id      Application-Name        Application-Type          User       Queue               State         Final-State         Progress                        Tracking-URL
  application_1491225022815_0002      paxi                 SPARK                 paxata     default              ACCEPTED         UNDEFINED              0%                                 N/A

当我查看Yarn日志时，它显示为

[root@iop-rm1 /]# yarn logs -applicationId application_1491222823231_0001

17/04/03 12:48:57 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032

/tmp/logs/root/logs/application_1491222823231_0001 does not exist.

Log aggregation has not completed or is not enabled.

我还启用了 core-site.xml 文件

<name>yarn.log-aggregation-enable</name>

<value>true</value>

我为不存在的日志创建了路径，但是我无法看到日志
有什么方法可以查看Yarn原木吗？

hadoop yarn apache-spark analytics-for-apache-hdp

来源：https://stackoverflow.com/questions/43186342/unable-to-view-logs-for-yarn-resource-manager

2条答案

按热度按时间

mpbci0fu1#

您不能查看尚未完成的应用程序的聚合日志 FINISHED .
从描述 yarn.log-aggregation-enable 属性：
日志聚合收集每个容器的日志，并将这些日志移动到中配置的目录中 yarn.nodemanager.remote-app-log-dir 只有在申请完成之后。
你可以尝试同样的命令 yarn logs -applicationId <application ID> 在应用程序完成后查看日志。
在作业运行时查看日志 RUNNING ，使用resourcemanger web界面。它将在 http://ResourceManager_IP_Address:8088/ .
ps：您应该在中添加日志聚合属性 yarn-site.xml .