hiveoozie错误处理

mwngjboj 于 2021-05-30 发布在 Hadoop

关注(0)|答案(2)|浏览(428)

有人对oozie异常/错误处理的最佳实践有什么建议吗？我们在oozie工作流中有配置单元操作，发现错误日志记录的细节不够详细。我们需要更多的堆栈跟踪和更多关于每个失败的上下文。有什么建议吗？
提前告诉他。。。
希曼舒

hadoop Hive oozie bigdata error-handling

来源：https://stackoverflow.com/questions/31089322/hive-oozie-error-handling

2条答案

按热度按时间

p1tboqfb1#

一旦oozie作业提交，Yarn将负责完成mapreduce的操作。将作业提交到yarn后，请检查mapred historyserver中的日志，或者通过位于oozie中的作业日志以及web ui中的错误代码列表进行检查。

赞(0）回复(0）举报 2021-05-30

q3aa05252#

可以使用属性在配置单元操作配置中设置配置单元操作的日志记录级别 oozie.hive.log.level . 默认值为 INFO .
你可以把它改成 DEBUG 并包含在你的Hive动作配置中 workflow.xml .

<configuration>
      <property>
                <name>oozie.log.hive.level</name>
                <value>DEBUG</value>
      </property>
</configuration>

此日志级别依次传递到 log4j 我相信。
https://github.com/apache/oozie/blob/master/sharelib/hive/src/main/java/org/apache/oozie/action/hadoop/hivemain.java

赞(0）回复(0）举报 2021-05-30

我来回答

hiveoozie错误处理

2条答案

相关问题

热门标签

最新问答