spark流媒体作业在hd insights上运行7天后完全失败,没有错误日志

8tntrjer  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(363)

我们得到的唯一错误日志是:由于applicationmaster尝试appattempt,应用程序\u 1575912755011\u 0035失败5次\u 1575912755011\u 0035\u000005超时。应用程序失败。
原因是什么?解决方案是什么?

wa7juj8i

wa7juj8i1#

检查是否相关:https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-troubleshoot-application-stops
如果这没有帮助,您可以尝试使用quest(内置易用的spark streaming)或按原样运行spark streaming,在qubole中运行流式处理作业:https://docs.qubole.com/en/latest/user-guide/data-engineering/quest/quest-intro.html
最好的,米尼什

相关问题