如何在现有hbase表上启用压缩？

vs91vp4v 于 2021-06-09 发布在 Hbase

关注(0)|答案(4)|浏览(450)

我有一个非常大的hbase表apdata，但是在创建它时它没有被设置为压缩。现在是1.5tb。所以我想在这张table上启用压缩功能。我做了以下工作：

(1)disable apData
(2)alter apData,{NAME=>'cf1',COMPRESSION=>'snappy'}
(3)enable 'apData'.

但当我使用 "desc apData" 要查看配置，它仍然显示： COMPRESSION => 'NONE' 为什么没有生效？我应该如何压缩表，请，并确保未来的数据将自动压缩时，插入。
提前谢谢！

hbase compression

来源：https://stackoverflow.com/questions/30252405/how-to-enable-compression-on-an-existing-hbase-table

4条答案

按热度按时间

qkf9rpyu1#

你配置了snappy吗。验证是否在所有节点中加载了第一个snappy。要验证，请使用此命令。
hbase org.apache.hadoop.hbase.util.compressiontesthdfs://host/path/to/hbase 敏捷的
一旦快速测试成功。上面提到的压缩应该可以工作。
有关snappy的配置和安装的更多详细信息：http://hbase.apache.org/0.94/book/snappy.compression.html

赞(0）回复(0）举报 2021-06-09

vtwuwzda2#

您需要将hbase配置为使用snappy。
您可以按照参考链接中提到的步骤在hbase中启用snapy压缩：configure snapy compression with hbase
希望对你有帮助。

赞(0）回复(0）举报 2021-06-09

rwqw0loc3#

如果从tarballs安装hadoop和hbase，我们需要将hbase配置为使用snappy；如果我们从rpm或debian包安装它们，snappy不需要hbase配置。
根据要安装的机器的体系结构，我们必须在/etc/hbase/conf/hbase-env.sh中添加以下行之一：

For 32-bit platforms:
export HBASE_LIBRARY_PATH=/usr/lib/hadoop/lib/native/Linux-i386-32

For 64-bit platforms:
export HBASE_LIBRARY_PATH=/usr/lib/hadoop/lib/native/Linux-amd64-64

赞(0）回复(0）举报 2021-06-09

svgewumm4#

hbase只压缩新的hfiles—您编写的新数据或压缩的结果

赞(0）回复(0）举报 2021-06-09