使用impala查询hdfs中的parquet文件

x6h2sr28  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(517)

我在看一份 Impala 的Parquet文件。

impala-shell> SELECT * FROM `/path/in/hdfs/*.parquet`

我知道我可以用Spark或钻头来完成,但我想知道用 Impala 是否可行?
谢谢

b09cbbtk

b09cbbtk1#

您需要创建一个结构化的 table 在屋顶上 parquet 通过impala查询的文件。
一般示例 external table 指向Parquet目录。。。cloudera文档提供了以下所有方法:
https://www.cloudera.com/documentation/enterprise/latest/topics/impala_parquet.html#parquet_ddl

CREATE EXTERNAL TABLE ingest_existing_files LIKE PARQUET '/user/etl/destination/datafile1.dat'
  STORED AS PARQUET
  LOCATION '/user/etl/destination';

相关问题