我在Yarn上擦Spark。
我的spark版本是2.1.1，hadoop版本是apachehadoop2.7.3。
当spark作业以集群模式在yarn上运行时，我可以通过stdout/stderr链接查看执行器的日志，如

http://hadoop-slave1:8042/node/containerlogs/container_1500432603585_0148_01_000001/hadoop/stderr?start=-4096

但是当作业完成时，通过stdout/stderr链接查看执行器的日志会得到一个错误页面，如
正在重定向到容器的日志服务器\u 1500432603585 \u 0148 \u 01 \u000001
java.lang.exception:未知容器。容器尚未启动或已完成，或者根本不属于此节点。
然后它会自动重定向到

http://hadoop-slave1:8042/node/hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

然后得到另一个错误页面，比如

Sorry, got error 404  
Please consult RFC 2616 for meanings of the error code.  

Error Details

org.apache.hadoop.yarn.webapp.WebAppException: /hadoop-master:19888/jobhistory/logs/hadoop-slave1:50284/container_1500432603585_0145_01_000002/container_1500432603585_0145_01_000002/oryx: controller for hadoop-master:19888 not found
        at org.apache.hadoop.yarn.webapp.Router.resolveDefault(Router.java:232)
        at org.apache.hadoop.yarn.webapp.Router.resolve(Router.java:140)
        at org.apache.hadoop.yarn.webapp.Dispatcher.service(Dispatcher.java:134)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
        at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:263)

实际上，当spark作业完成时，我可以使用此url访问执行者日志：

http://hadoop-master:19888/jobhistory/logs/hadoop-slave1:36207/container_1500432603585_0148_01_000001/container_1500432603585_0148_01_000001/hadoop

它与前面的url有点不同，它删除了头“hadoop-slave1:8042/node/”。
有人知道在spark作业完成时查看spark日志的其他更好的方法吗？
我已经配置了yarn-site.xml

<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>hadoop-master</value>
      <description>The hostname of the RM.</description>
  </property>  

  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>

  <property>
      <name>yarn.log.server.url</name>
      <value>${yarn.resourcemanager.hostname}:19888/jobhistory/logs</value>
  </property>

和mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>${yarn.resourcemanager.hostname}:10020</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.admin.address </name>
    <value>${yarn.resourcemanager.hostname}:10033</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:19888</value>
  </property>