我正在以群集模式运行spark streaming,我想捕获日志并将其写入驱动程序本地文件为此我创建了自定义log4j.properties文件,其中我提到了驱动程序的本地文件路径,但我只能在该文件中看到驱动程序日志,为什么我的执行者日志没有被捕获在这个文件中,我如何才能捕获执行者日志。我尝试过不同的方法,我的spark submit命令如下follows:-
spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar
1条答案
按热度按时间yrwegjxp1#
您可以发布您的log4j.properties。我假设您可以在executor node local dir中看到executor日志