我在远程服务器上有一个工作的hdfs和一个运行的spark框架。我正在运行sparkr应用程序,希望能看到完整的ui日志。我遵循了这里的所有说明:windows:apachespark history server config并能够在服务器上启动历史服务器。
然而,只有当超级用户(启动hadoop的name节点的人)和启动spark进程的人远程启动spark应用程序时,日志记录才会在hdfs路径中成功进行&我们也能够查看spark的历史web ui。
当我从我的用户id(远程)运行同一个应用程序时,虽然它在端口18080上显示历史服务器正在启动和运行,但它不会记录我的任何应用程序。
我已经获得了对hdfs中文件夹的读、写和执行权限。
spark-defaults.conf文件现在如下所示:
spark.eventLog.enabled true
spark.history.fs.logDirectory hdfs://XX.XX.XX.XX:19000/user/logs
spark.eventLog.dir hdfs://XX.XX.XX.XX:19000/user/logs
spark.history.ui.acls.enable false
spark.history.fs.cleaner.enabled true
spark.history.fs.cleaner.interval 1d
spark.history.fs.cleaner.maxAge 7d
我是否遗漏了某些权限或配置设置(spark?hdfs)?
任何从这里开始的指示/提示都将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!