我是hadoop新手,我想了解如何确定任何给定集群的最高复制因子。我知道默认设置是3个副本,但是如果我有一个有5个节点的集群,在这种情况下,我可以使用的最高复制因子是什么。有没有一个公式,我们必须遵循,以确定复制因子?谢谢您
7dl7o3gd1#
显然,副本不能多于节点,因为在同一节点上存储两个副本是没有用的。在我看来这是上限。
rvpgvaaj2#
在hadoop环境中,3台从机的默认复制因子为3或更多。下面是一个简单的公式,即“n”复制因子=“n”从属节点。下面是有关复制的更多信息http://commandstech.com/replication-factor-in-hadoop/
pxq42qpu3#
您可以使用的最高复制系数是集群中节点数(正如@tarik所说,集群中的副本不能多于节点数)、预期使用率(您计划存储多少数据)和集群存储容量的函数。另一个问题是关于容量和存储使用的一些计算。
3条答案
按热度按时间7dl7o3gd1#
显然,副本不能多于节点,因为在同一节点上存储两个副本是没有用的。在我看来这是上限。
rvpgvaaj2#
在hadoop环境中,3台从机的默认复制因子为3或更多。下面是一个简单的公式,即“n”复制因子=“n”从属节点。下面是有关复制的更多信息http://commandstech.com/replication-factor-in-hadoop/
pxq42qpu3#
您可以使用的最高复制系数是集群中节点数(正如@tarik所说,集群中的副本不能多于节点数)、预期使用率(您计划存储多少数据)和集群存储容量的函数。
另一个问题是关于容量和存储使用的一些计算。