我根据中的演练设置了一个4节点hadoop集群http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/. 我使用了1的复制（集群只是用于测试）我从本地复制了一个2gb的文件。在http界面中浏览文件时，我看到它被拆分为31个块，但它们都在一个节点（主节点）上是这样吗？我如何调查原因？
d5vmydt91#
它们都在一个节点上，因为默认情况下，hadoop将首先写入本地节点。我猜你使用的是那个节点上的hadoop客户端。因为你有一个复制，它只会在那个节点上。因为您只是在玩游戏，所以可能需要强制分散数据。为此，可以使用 hadoop rebalancer . 几分钟后控制一下。
hadoop rebalancer
1条答案
按热度按时间d5vmydt91#
它们都在一个节点上，因为默认情况下，hadoop将首先写入本地节点。我猜你使用的是那个节点上的hadoop客户端。因为你有一个复制，它只会在那个节点上。
因为您只是在玩游戏，所以可能需要强制分散数据。为此，可以使用
hadoop rebalancer. 几分钟后控制一下。