我有一个spark批处理作业,它读取一些json文件并将其写入hive,然后查询其他一些hive表,执行计算并将orc格式的输出写回hive。
我所经历的是,这项工作有一个阶段处于等待状态。
dag如下所示:
我在用 Hadoop 2.7.3.2.6.5.0-292
Spark在Yarn上流动。
我看了Yarn日志,Spark事件日志,但没有看到一个问题。只是重新运行作业会导致相同的行为。
问题是:阶段中的未知状态意味着什么,如何调试作业为什么在其中?
我有一个spark批处理作业,它读取一些json文件并将其写入hive,然后查询其他一些hive表,执行计算并将orc格式的输出写回hive。
我所经历的是,这项工作有一个阶段处于等待状态。
dag如下所示:
我在用 Hadoop 2.7.3.2.6.5.0-292
Spark在Yarn上流动。
我看了Yarn日志,Spark事件日志,但没有看到一个问题。只是重新运行作业会导致相同的行为。
问题是:阶段中的未知状态意味着什么,如何调试作业为什么在其中?
暂无答案!
目前还没有任何答案,快来回答吧!