如何将hbase表(非常大)分成相等的部分,以便将其存储到本地文件系统中?

neekobn8  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(293)

关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。

三年前关门了。
改进这个问题
我有一个大小为53 gb的hbase表,我想将其存储到本地文件系统中。但是,我只有两个大小为30gb的驱动器,我无法将文件完全存储到一个驱动器中。谁能告诉我如何将我的hbase表拆分并存储到这两个驱动器中。如有任何建议或意见,我们将不胜感激。有一种紧迫感:(
注意:如果有人能建议我是否可以根据时间戳拆分表,那将不胜感激。希望很快收到你的来信。
谢谢,高瑟姆

mpbci0fu

mpbci0fu1#

我建议运行一个mapreduce作业,带有一个完整的表扫描和settimerange,如果想按时间戳分割它,并将输出存储为例如avro文件。然后您就可以将这些文件放在不同的分区上。
这也有帮助。
祝你好运。

56lgkhnf

56lgkhnf2#

hbase的53GB数据非常小。如果预先拆分表,数据也将在文件系统中拆分为单独的文件。我假设您只有一个节点和一个区域服务器。
另外,如果您有两个节点,一个30 gb驱动器和两个区域服务器,并且如果您将表预拆分为两个,那么如果拆分点合适,您的数据将自动拆分为两个。

相关问题