我有一个很长的Spark工作，其中有一小部分任务，目前暂停。有没有办法从驱动程序节点中终止那些暂停的任务？出于权限原因，我可以登录，但不能终止从属节点上的作业，因此我正在寻找一种方法，仅从驱动程序节点执行此操作。请注意，我不想扼杀整个spark工作-只是一个或两个暂停的任务。如果有帮助的话，我使用的是mesos，并且可以访问webui，但是它不包含终止任务的选项。
mqxuamgl1#
不，不是真的。您不能手动终止单个spark任务，但是可以使用spark推测自动确定哪些任务花费的时间过长，并主动重新启动它们。如果你想那样做的话，那就开始吧 spark.speculation 如果你敢的话 spark.speculation.interval , spark.speculation.multiplier , spark.speculation.quantile 配置选项。相关文件：http://spark.apache.org/docs/latest/configuration.html#viewing-Spark特性相关问题：如何处理运行时间太长的任务（与其他工作相比）在Yarn客户端？
spark.speculation
spark.speculation.interval
spark.speculation.multiplier
spark.speculation.quantile
1条答案
按热度按时间mqxuamgl1#
不，不是真的。
您不能手动终止单个spark任务，但是可以使用spark推测自动确定哪些任务花费的时间过长，并主动重新启动它们。
如果你想那样做的话，那就开始吧
spark.speculation如果你敢的话spark.speculation.interval,spark.speculation.multiplier,spark.speculation.quantile配置选项。相关文件：http://spark.apache.org/docs/latest/configuration.html#viewing-Spark特性
相关问题：如何处理运行时间太长的任务（与其他工作相比）在Yarn客户端？