我在笔记本电脑上用docker compose运行spark cluster。我没有更改任何默认设置。
如果在群集运行时关闭笔记本电脑。当我再次打开它的Spark大师会说：“大师。大师：删除工人。。因为我们在60秒内没有心跳。
之后，当工作进程恢复心跳时，主进程只需写入日志“got heartbeat from unregistered worker”。
而且集群被破坏了——它不再接受作业，因为master看不到任何执行者来执行作业。
如何更改spark群集配置，以便在临时工作心跳丢失后自动恢复？我真的需要高可用性吗？我现在不需要主自动防故障装置。只是工人恢复时，师傅看到平从工人他刚注销。。