我在用Spark算符来计算kubernetes。
https://github.com/googlecloudplatform/spark-on-k8s-operator
我能够成功地运行作业,但是由于pod是动态的,因此在监视和排除作业故障方面有很多麻烦。
我想知道启用历史服务器(到s3a://)和spark操作符的最佳方法。
另外,如何在s3a://中存储每个作业的driver/executor的stdout和stderr日志。
我在用Spark算符来计算kubernetes。
https://github.com/googlecloudplatform/spark-on-k8s-operator
我能够成功地运行作业,但是由于pod是动态的,因此在监视和排除作业故障方面有很多麻烦。
我想知道启用历史服务器(到s3a://)和spark操作符的最佳方法。
另外,如何在s3a://中存储每个作业的driver/executor的stdout和stderr日志。
1条答案
按热度按时间wwtsj6pe1#
我认为使用
filebeat
在elasticsearch中收集pods的日志并保存日志是一种很好的做法。