如何调试挂起阶段为何处于未知状态?

yyhrrdl8  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(222)

我有一个spark批处理作业,它读取一些json文件并将其写入hive,然后查询其他一些hive表,执行计算并将orc格式的输出写回hive。
我所经历的是,这项工作有一个阶段处于等待状态。

dag如下所示:

我在用 Hadoop 2.7.3.2.6.5.0-292 Spark在Yarn上流动。
我看了Yarn日志,Spark事件日志,但没有看到一个问题。只是重新运行作业会导致相同的行为。
问题是:阶段中的未知状态意味着什么,如何调试作业为什么在其中?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题