在hdp集群上安装snappy

axr492tv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

我有一个使用hortonworks数据平台2.6.1构建的hbase集群。现在我需要对hbase表应用snappy压缩。
在没有安装snappy的情况下,我执行了压缩测试并获得了成功的输出。我用了下面的命令。

hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/test.txt snappy

hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://hbase.primary.namenode:8020/tmp/test1.txt snappy

两个命令的响应都在下面。

2017-10-30 11:25:18,454 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:18,671 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:18,679 INFO  [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:21,560 INFO  [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:22,366 INFO  [main] compress.CodecPool: Got brand-new decompressor [.snappy]
SUCCESS

我在路径/usr/hdp/2.6.1.0-129/hadoop/lib/native/中也看到了下面的库。

libhadoop.a 
libhadooppipes.a 
libhadoop.so 
libhadoop.so.1.0.0 
libhadooputils.a 
libhdfs.a 
libsnappy.so 
libsnappy.so.1 
libsnappy.so.1.1.4

hdp默认支持snappy压缩吗?
如果是这样,我可以压缩hbase表而不安装snappy吗?

hyrbngr7

hyrbngr71#

在没有安装snappy的情况下,我执行了压缩测试并获得了成功的输出。
ambari是在集群安装期间安装的,所以这些命令是有效的
hdp默认支持snappy压缩吗?
是的,hdp utils存储库提供了snappy库。
我可以在不安装snappy的情况下压缩hbase表吗?
hbase提供了其他压缩算法,所以是的

相关问题