为什么插入hdfs配置单元分区表时速度太慢?

eit6fx6z  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(213)

我创建了如下表:(非分区)

create external table `ersin_db`.`DW_ETL`
  (
  `ID` INT, 
  `NAME` STRING
  )  
    stored as parquet
    LOCATION '/user/ers/ersyn61/'
    tblproperties('parquet.compression'='SNAPPY');

当我试着插入它是快的。
但是当我像这样创建分区表时:

create external table `ersin_db`.`DW_ETL`
  (
  `ID` INT, 
  `NAME` STRING
  ) 
partitioned by(partition_etldate_string string )
    stored as parquet
    LOCATION '/user/ers/ersyn61/'
    tblproperties('parquet.compression'='SNAPPY');

SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.dynamic.partition=true;
set hive.optimize.sort.dynamic.partition=true;

插入速度慢?
我怎样才能更快?
提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题