我尝试将配置属性设置为rollover stderr log（它正在增长）
mySparkConf.set("spark.executor.logs.rolling.maxRetainedFiles","5")
mySparkConf.set("spark.executor.logs.rolling.time.interval","minutely")
mySparkConf.set("spark.executor.logs.rolling.strategy","time")或
mySparkConf.set("spark.executor.logs.rolling.maxRetainedFiles","5")
mySparkConf.set("spark.executor.logs.rolling.maxSize","100000")
mySparkConf.set("spark.executor.logs.rolling.strategy","size")它不起作用，或者它的工作原理与我预期的不同（没有太多关于它的文档）。
例如，我希望基于时间的滚动将在每分钟后创建新文件（如上所述）。然而，在这一时期之后，它仍然在增长。 mySparkConf = SparkConf() ... mySparkConf.set("spark.executor.logs.rolling.maxRetainedFiles","5") mySparkConf.set("spark.executor.logs.rolling.maxSize","100000") mySparkConf.set("spark.executor.logs.rolling.strategy","size") ... mySparkContext = SparkContext(conf=mySparkConf) mySparkStreamingContext = StreamingContext(mySparkContext,10) mySparkSession = SparkSession.builder.appName("my app").config(conf=mySparkConf).getOrCreate()
3条答案
按热度按时间cqoc49vn1#
您需要在两个位置进行更改（添加一些内容）。1英寸
$SPARK_HOME/conf/spark-default.conf你需要加上这三行in each executor:另一个需要更改的文件
for each executor是$SPARK_HOME/conf/spark-env.sh添加以下行：这些对我有用。
kpbwa7wx2#
很老的问题，但仍然缺乏解释-这些属性不是应用程序设置-它们是spark worker设置，因此您必须将它们传递给worker，而不是在sparkconf中设置它们。
b09cbbtk3#
您可以在中配置属性
spark-defaults.conf位于下面install_location/resources/spark/conf/具有以下属性：请注意，rollingpolicy代码中有最小大小字节检查，因此请确保生成足够的日志（超过81920字节）来滚动文件。
裁判。https://github.com/dgshep/spark/commit/258e6c3786ed79ab0245bc7b37a5f55eefbf4358