因此，我们计划使用一个电子病历，它将在一天中处理数小时的数据，一旦处理完成集群将被终止。在常规的cloudera安装（或hortonworks）上，当我们运行oozie作业时，我们可以清楚地看到hue中的日志，它们被保存在某个地方。因此，在emr上有没有一种方法可以将这些日志保存到s3，一旦新集群启动并运行，就将这些保存的日志从s3插回新集群的hue中。请告知
uurv41yg1#
默认情况下，使用控制台启动的amazonemr集群会自动将日志文件归档到amazons3。您可以指定自己的日志路径，也可以允许控制台自动为您生成日志路径。几乎所有emr节点的/mnt/var/log/目录中的所有日志都将被连续推送到s3进行持久存储。这包括应用程序日志，如oozie/sqoop。应用程序的s3前缀应该是奥齐： /j-3GL0155VMY123/node/i-f0954123/applications/oozie/ ```catalina.2016-11-15.log.gzcatalina.out.gzderby.log.gzoozie-error.log.gzoozie-instrumentation.log.gzoozie-jpa.log.gzoozie-ops.log.gzoozie.log.gz
/j-3GL0155VMY123/node/i-f0954123/applications/oozie/
其中j-3gl0155vmy123是emr集群id，i-f0954123是master/core的示例id。 如果您关心容器日志，那么可以查看 `/j-3GL0155VMY123/containers/` 前缀。
1条答案
按热度按时间uurv41yg1#
默认情况下，使用控制台启动的amazonemr集群会自动将日志文件归档到amazons3。您可以指定自己的日志路径，也可以允许控制台自动为您生成日志路径。
几乎所有emr节点的/mnt/var/log/目录中的所有日志都将被连续推送到s3进行持久存储。这包括应用程序日志，如oozie/sqoop。
应用程序的s3前缀应该是
奥齐：
/j-3GL0155VMY123/node/i-f0954123/applications/oozie/```catalina.2016-11-15.log.gz
catalina.out.gz
derby.log.gz
oozie-error.log.gz
oozie-instrumentation.log.gz
oozie-jpa.log.gz
oozie-ops.log.gz
oozie.log.gz