带impala的orc文件格式

8wtpewkr  于 2021-05-29  发布在  Hadoop
关注(0)|答案(4)|浏览(933)

orc文件格式可以在impala中使用吗?还有如何访问存储在impala的hive metastore中的orc表。可在下面的文档链接中找到,但它不包含任何限制文件格式列表或提到impala不支持的orc:http://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html

lawou6xi

lawou6xi1#

尽管orc是hive中唯一支持acid特性的格式,并且在一些基准测试研究中显示出更好的查询性能和压缩比,但impala不支持orc文件格式,因为它是由hortonworks创建的,hortonworks是它们的主要竞争对手之一。反之亦然,hortonworks数据平台(hdp)上的hive版本出于同样的原因不支持parquet。

u5rb5r59

u5rb5r592#

Impala 不支持兽人。相反,apache parquet是最佳性能的推荐格式。

vfh0ocws

vfh0ocws3#

Impala 无法读取orc文件格式。如果你有可能的话,我建议你把你的兽人档案移植到有Hive的Parquet地板上。这样做的好处是,您只需支付一次设置map reduce任务的时间。
如果您的orc表是nameoforctable,则非常基本的查询如下所示:

CREATE TABLE nameoforctable_parquet
LIKE nameoforctable
STORED AS PARQUET
LOCATION '/your/hdfs/location';

INSERT INTO nameoforctable_parquet 
SELECT * FROM nameoforctable
rseugnpd

rseugnpd4#

使用以下命令在impala中创建orc格式表:

create table orc_table_name_1 (x INT, y STRING) STORED AS orc;

相关问题