orc文件格式可以在impala中使用吗?还有如何访问存储在impala的hive metastore中的orc表。可在下面的文档链接中找到,但它不包含任何限制文件格式列表或提到impala不支持的orc:http://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html
lawou6xi1#
尽管orc是hive中唯一支持acid特性的格式,并且在一些基准测试研究中显示出更好的查询性能和压缩比,但impala不支持orc文件格式,因为它是由hortonworks创建的,hortonworks是它们的主要竞争对手之一。反之亦然,hortonworks数据平台(hdp)上的hive版本出于同样的原因不支持parquet。
u5rb5r592#
Impala 不支持兽人。相反,apache parquet是最佳性能的推荐格式。
vfh0ocws3#
Impala 无法读取orc文件格式。如果你有可能的话,我建议你把你的兽人档案移植到有Hive的Parquet地板上。这样做的好处是,您只需支付一次设置map reduce任务的时间。如果您的orc表是nameoforctable,则非常基本的查询如下所示:
CREATE TABLE nameoforctable_parquet LIKE nameoforctable STORED AS PARQUET LOCATION '/your/hdfs/location'; INSERT INTO nameoforctable_parquet SELECT * FROM nameoforctable
rseugnpd4#
使用以下命令在impala中创建orc格式表:
create table orc_table_name_1 (x INT, y STRING) STORED AS orc;
4条答案
按热度按时间lawou6xi1#
尽管orc是hive中唯一支持acid特性的格式,并且在一些基准测试研究中显示出更好的查询性能和压缩比,但impala不支持orc文件格式,因为它是由hortonworks创建的,hortonworks是它们的主要竞争对手之一。反之亦然,hortonworks数据平台(hdp)上的hive版本出于同样的原因不支持parquet。
u5rb5r592#
Impala 不支持兽人。相反,apache parquet是最佳性能的推荐格式。
vfh0ocws3#
Impala 无法读取orc文件格式。如果你有可能的话,我建议你把你的兽人档案移植到有Hive的Parquet地板上。这样做的好处是,您只需支付一次设置map reduce任务的时间。
如果您的orc表是nameoforctable,则非常基本的查询如下所示:
rseugnpd4#
使用以下命令在impala中创建orc格式表: