如果在hadoop集群中块复制是3，并且每个datanode都有3${dfs.data.dir}目录。当datanode被选为存储块时，该块存储在所有3个目录中还是其中一个目录中？如果答案是后者，如何选择${dfs.data.dir}目录？
pkbketx91#
当块到达datanode时，以循环方式选择正确的目录。您可以通过将dfs.datanode.fsdataset.volume.choosing.policy更改为org.apache.hadoop.hdfs.server.datanode.fsdataset.availablespacevolumeconosingpolicy来更改此行为，然后根据目录中可用的空间选择正确的目录（请参阅此处的配置：https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)
1条答案
按热度按时间pkbketx91#
当块到达datanode时，以循环方式选择正确的目录。您可以通过将dfs.datanode.fsdataset.volume.choosing.policy更改为org.apache.hadoop.hdfs.server.datanode.fsdataset.availablespacevolumeconosingpolicy来更改此行为，然后根据目录中可用的空间选择正确的目录（请参阅此处的配置：https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)