我的一个数据节点使用了70%的磁盘空间,而其他节点仅使用了30%。如何将部分数据从70%磁盘节点迁移到其他节点。但是我不能使用hdfs重新平衡,因为hbase是在hdfs上运行的,数据重新平衡可能会导致hbase丢失数据位置。
vlju58qv1#
我认为你可用的硬盘格式是一样的,如果你想迁移70%的数据,那就用分区的方法。创建不同格式的硬盘分区。然后装上硬盘,随心所欲地使用。
qoefvg9y2#
热释光;dr:你问的是一个还不是hdfs一部分的特性。有一张jira票hdfs-1312用于跟踪开发工作。正如您的问题所述,建议的datanode平衡器旨在解决datanodes不能均匀填充磁盘的问题。幸运的是,该特性正在积极开发中,我们可以预计它将在几个月(而不是几年)内被合并回hadoop版本。在jira链接中,在特性发布之前有两种解决方法:手动重新平衡存储目录中的块停用节点并稍后读取它们但是,请小心地手动操作。
2条答案
按热度按时间vlju58qv1#
我认为你可用的硬盘格式是一样的,如果你想迁移70%的数据,那就用分区的方法。
创建不同格式的硬盘分区。
然后装上硬盘,随心所欲地使用。
qoefvg9y2#
热释光;dr:你问的是一个还不是hdfs一部分的特性。
有一张jira票hdfs-1312用于跟踪开发工作。正如您的问题所述,建议的datanode平衡器旨在解决datanodes不能均匀填充磁盘的问题。幸运的是,该特性正在积极开发中,我们可以预计它将在几个月(而不是几年)内被合并回hadoop版本。
在jira链接中,在特性发布之前有两种解决方法:
手动重新平衡存储目录中的块
停用节点并稍后读取它们
但是,请小心地手动操作。