如果我在本地商店使用ebs卷，是否需要考虑特殊处理？
更清楚地说，假设我在aws eks中运行1个作业管理器和5个任务管理器（每个示例1个任务管理器），由ebs volume for local store（rockdb）和带有s3的检查点机制支持，其中一个任务管理器示例由于某种原因重新启动（将此示例称为x），现在从s3中检索到一个新的节点连接（将这个示例称为y）和本地存储。现在，假设新节点（节点y）离开eks，节点x加入flink集群，在这种情况下会发生什么？由于node x已经有了持久状态（但是旧状态），flink是否会删除旧状态并从s3下载最近的状态？Flink内部是如何处理的？
在本地商店使用ebs卷有什么陷阱吗？
1条答案
按热度按时间hgc7kmma1#
首先，使用本地ssd比使用ebs卷更好。ebs通过网络连接到示例，这使得rocksdb本地状态访问与其他网络活动争夺网络。本地ssd的性能更好，它们是短暂的这一事实并不重要。
如果配置本地恢复，则任何幸存节点都将使用其本地状态，而不是从s3获取最新快照，而任何新节点都将从s3获取其状态。如果x是集群的前成员，在流亡一段时间后重新加入，它将删除它所拥有的任何状态，并从s3获取它所需要的状态。