以客户模式在本地文件中捕获spark executor日志

nwnhqdif  于 2021-05-26  发布在  Spark
关注(0)|答案(1)|浏览(457)

我正在以群集模式运行spark streaming,我想捕获日志并将其写入驱动程序本地文件为此我创建了自定义log4j.properties文件,其中我提到了驱动程序的本地文件路径,但我只能在该文件中看到驱动程序日志,为什么我的执行者日志没有被捕获在这个文件中,我如何才能捕获执行者日志。我尝试过不同的方法,我的spark submit命令如下follows:-

spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar
yrwegjxp

yrwegjxp1#

您可以发布您的log4j.properties。我假设您可以在executor node local dir中看到executor日志

相关问题