我们可以使用文本文件格式的配置单元表与snappy压缩?

31moq8wy  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(404)

我在hdfs中有一个配置单元外部表,我正在尝试在它上面创建一个配置单元管理的表。我使用文本文件格式和snappy压缩,但我想知道它如何帮助这个表。

CREATE TABLE standard_cd 
(
    last_update_dttm         TIMESTAMP,
    last_operation_type     CHAR (1) ,
    source_commit_dttm   TIMESTAMP,
    transaction_dttm         TIMESTAMP ,
    transaction_type    CHAR (1)          
) 

PARTITIONED BY (process_dt DATE)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|' 
STORED AS TEXTFILE
TBLPROPERTIES  ("orc.compress" = "SNAPPY");

让我知道,如果在这个格式创建任何问题。

eivgtgni

eivgtgni1#

因此,在创建时,它们是没有问题的。但不同之处在于:
创建并存储为文本文件的表:

创建并存储为orc的表:

虽然两个表的大小在加载一些数据后是相同的。
还要检查有关orc文件格式的文档

相关问题