我开始研究delta-lake文件格式,hive能够从这个新引入的delta文件格式读取数据吗?如果可以的话,请告诉我你正在使用的服务器。
xdnvmnnf1#
配置单元支持delta-lake文件格式。第一步是从https://github.com/delta-io/connectors,在我们Hive的路上。然后使用以下格式创建一个表。创建外部表test.dl\u尝试\u流(…)由“io.delta.hive.deltastoragehandler”位置存储delta格式默认选择分区,所以在创建表时不需要提及分区。注意:如果数据是通过spark作业插入的,请提供hive-site.xml,并在spark作业中启用hivesupport,以便在配置单元中创建delta湖表。
1条答案
按热度按时间xdnvmnnf1#
配置单元支持delta-lake文件格式。第一步是从https://github.com/delta-io/connectors,在我们Hive的路上。然后使用以下格式创建一个表。创建外部表test.dl\u尝试\u流(…)由“io.delta.hive.deltastoragehandler”位置存储
delta格式默认选择分区,所以在创建表时不需要提及分区。
注意:如果数据是通过spark作业插入的,请提供hive-site.xml,并在spark作业中启用hivesupport,以便在配置单元中创建delta湖表。