hdinsight azure blob存储更改

yiytaume  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(395)

在hdinsight cluster上,使用create external语句创建配置单元表:

CREATE EXTERNAL TABLE HTable(t1 string, t2 string, t3 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasb://$containerName@$storageAccountName.blob.core.windows.net/HTable/data/';

然后一些现有文件被更改,一些文件被添加到create语句中提到的azure blob容器中。
新的配置单元查询是否考虑对blob容器所做的更改,而不会再次将数据加载到配置单元表中?

nmpmafwu

nmpmafwu1#

是的,您的表定义保存在配置单元元存储中。您可以简单地查询 HTable 数据就会在那里。通常,hdinsight上的配置单元遵循适用于配置单元和hdfs的相同规则。
对于更高级的讨论,你可以玩一些小把戏,但你需要知道你在做什么。因为hdinsight存储可以在集群生存期内生存,所以使用hdinsight可以拆除集群并重新部署新的hdinsight集群,并且仍然拥有配置单元数据。您甚至可以保留hive元存储,就像一个单独的数据库(sqlazuredb)一样。对于基于hdfs的集群,集群的循环会导致所有hdfs数据的丢失。

相关问题