如何在hdfs rebalancer运行后保留hbase数据位置?或者如何将数据从一个特定的数据节点移动到另一个特定的数据节点?

gwbalxhn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(477)

我的一个数据节点使用了70%的磁盘空间,而其他节点仅使用了30%。如何将部分数据从70%磁盘节点迁移到其他节点。但是我不能使用hdfs重新平衡,因为hbase是在hdfs上运行的,数据重新平衡可能会导致hbase丢失数据位置。

vlju58qv

vlju58qv1#

我认为你可用的硬盘格式是一样的,如果你想迁移70%的数据,那就用分区的方法。
创建不同格式的硬盘分区。
然后装上硬盘,随心所欲地使用。

qoefvg9y

qoefvg9y2#

热释光;dr:你问的是一个还不是hdfs一部分的特性。
有一张jira票hdfs-1312用于跟踪开发工作。正如您的问题所述,建议的datanode平衡器旨在解决datanodes不能均匀填充磁盘的问题。幸运的是,该特性正在积极开发中,我们可以预计它将在几个月(而不是几年)内被合并回hadoop版本。
在jira链接中,在特性发布之前有两种解决方法:
手动重新平衡存储目录中的块
停用节点并稍后读取它们
但是,请小心地手动操作。

相关问题