我正在运行一个spark流作业，当我为spark流作业设置app name（一个可读性更好的字符串）时，它不会出现在hadoop运行的应用程序ui中。我总是把类名看作hadoop ui中的名称
val sparkConf = new SparkConf().setAppName("BetterName")
如何在spark中设置作业名称，使其出现在这个hadoop ui中？
运行应用程序的hadoop url是-http://localhost：8088/群集/应用程序/运行
[更新]看起来这只是spark流式处理作业的问题，但找不到解决方法。
1条答案
按热度按时间yiytaume1#
当通过spark submit提交作业时，创建的sparkcontext无法设置应用程序的名称，因为该应用程序已为spark之前的作业配置。要使应用程序名称出现在hadoop运行的作业ui中，必须在spark submit的命令行中设置它“-name bettername”。我用一个调用spark submit的shell脚本来启动我的工作，因此在shell脚本中为命令添加了名称。