hadoop的hdfs高可用性特性如何影响cap定理?

vulvrdjw  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(455)

根据我到目前为止读到的关于cap定理的所有内容,没有一个分布式系统能够提供这三个方面:可用性、一致性和分区容限。
现在,hadoop2.x引入了一个新特性,可以对其进行配置,以消除hadoopclusters具有的单点故障(单名称节点)。这样,集群就变得高可用性、一致性和分区容限性。我说得对吗?还是我遗漏了什么?根据cap的说法,如果系统试图提供这三个特性,它应该付出延迟的代价,新特性是否会将延迟添加到集群中?或者hadoop破解了cap定理?

olmpazwi

olmpazwi1#

在发生多个相关故障的情况下(例如,具有相同hdfs块的三个故障数据节点),hdfs不提供可用性。
从cap混乱:分区公差问题
像zookeeper这样的系统是显式顺序一致的,因为集群中的节点很少,所以写入仲裁的成本相对较小。hadoop分布式文件系统(hdfs)也选择了一致性——如果你运气不好,三个失败的数据节点会导致文件的块不可用。然而,这两个系统都设计为在实际网络中工作,在实际网络中会发生分区和故障,当它们这样做时,两个系统都将变得不可用,在一致性和可用性之间做出了选择。对于分布式数据存储来说,这种选择仍然是不可避免的现实。

pqwbnv8z

pqwbnv8z2#

hdfs的高可用性使hdfs更可用,但不是完全可用。如果网络分区使客户机无法与任一namenode通信,那么集群实际上是不可用的。

相关问题