我正在尝试测试我编写的一个Spark流应用程序的性能，该应用程序可以读取/写入数据到Kafka。代码运行正常，但我无法在UI中看到流选项卡。我正在使用Ambari，但我假设这是Spark功能。我正在使用Spark 2.2。如果我错过了任何配置，请让我知道。
我试着从Yarn客户端/Yarn集群/本地模式运行代码，但结果相同。我看到另一个类似的帖子https://community.hortonworks.com/questions/110212/hdp-26-spark-21-streaming-tab-not-available-in-the.html，但我试图监控应用程序何时运行，并从驱动程序节点。仍然缺少流标签。
我的历史记录服务器在18080端口运行。我使用以下http：//-node：18080/？showIncomplete = true运行。但缺少“流”选项卡。
我看了Spark流媒体代码。想知道Spark和Kafka之间是否存在版本不匹配或其他原因导致此选项卡不显示。甚至找不到错误“未找到要附加此选项卡的父SparkUI！”
1条答案
按热度按时间6qqygrtg1#
这似乎是预期问题，因为流作业可能导致大量日志，无法在SparkHS中显示。我可以通过SparkHS重现该问题，但如果我直接使用端口4040进入Spark UI，则无法重现。
此外，我还找到了一些关于此行为的文档：
https://docs.cloudera.com/cdp-one/saas/cdp-one-monitor-and-operate/topics/cdp-one-cm-accessing-the-web-ui-of-a-completed-spark-application.html#pnavId3
https://spark.apache.org/docs/latest/monitoring.html#applying-compaction-on-rolling-event-log-files