我按照通常的过程将日志级别更改为debug，但是在aws emr中运行的spark应用程序日志中没有看到调试级别的日志。我做了以下事情：
改变 log4j.rootCategory=DEBUG, console 在 conf/log4j.properties 我确认的文件在 spark-submit .
我也在使用这些额外的配置 spark-submit （本帖答案3）
--conf'spark.executor.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
--conf'spark.driver.extrajavaoptions=-dlog4j.configuration=path/to/log4j.properties'
启用yarn应用程序页上的调试日志/在 stderr 配置为写入s3的文件？
[另外，我试过 sc.setLogLevel("DEBUG") 这成功地启用了调试日志，但我不想做这样的代码更改。]