HiveParquet地板压缩不起作用

vfwfrxfs 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(357)

配置单元版本2.3

SET hive.exec.compress.output=true;

CREATED TABLE (

* )  STORED AS PARQUET

LOCATION 's3 location'
TBLPROPERTIES ('parquet.compress'='SNAPPY');

我在上面做了，但是s3位置的表输出没有压缩，我可以使用cat看到结果，我还尝试了'tblproperty（'parquet.compress'='zlib'）；'那也没用。有人知道用Hive压缩Parquet地板最好的方法是什么吗？谢谢您。

Hive parquet snappy compression

来源：https://stackoverflow.com/questions/48814400/hive-parquet-compression-doesnt-work

1条答案

按热度按时间

kadbb4591#

SET hive.exec.compress.output=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.type=BLOCK;

CREATED TABLE (*)  STORED AS PARQUET LOCATION 's3 location';

您还可以设置其他压缩格式。压缩列表
gzip-org.apache.hadoop.io.compress.gzip代码
bzip2-org.apache.hadoop.io.compress.bzip2编解码器
lzo-com.hadoop.compression.lzo.lzopcodec
snappy-org.apache.hadoop.io.compress.snappycodec
deflate-org.apache.hadoop.io.compress.deflatecodec
从上面的列表中，snappy不是默认值，deflatecodec是默认值。您可以通过运行

hive> SET mapred.output.compression.codec;

赞(0）回复(0）举报 2021-06-26

我来回答

HiveParquet地板压缩不起作用

1条答案

相关问题

热门标签

最新问答