当我运行一个spark作业时，我在历史服务器的“未完成的应用程序”选项卡下看不到它，并且它直到作业完成后才显示。是否需要设置一些设置才能在那里显示作业？
bqjvbblv1#
啊，好像设定是：需要设置为“FLUSHABLE_COMPOSITE”的“Spark：Spark.历史.fs.gs.输出流.类型”否则，它将只在作业完成时写入更新。
1条答案
按热度按时间bqjvbblv1#
啊，好像设定是：需要设置为“FLUSHABLE_COMPOSITE”的“Spark：Spark.历史.fs.gs.输出流.类型”
否则，它将只在作业完成时写入更新。