hive可以从delta-lake文件格式读取数据吗?

8dtrkrch  于 2021-06-25  发布在  Hive
关注(0)|答案(1)|浏览(577)

我开始研究delta-lake文件格式,hive能够从这个新引入的delta文件格式读取数据吗?如果可以的话,请告诉我你正在使用的服务器。

xdnvmnnf

xdnvmnnf1#

配置单元支持delta-lake文件格式。第一步是从https://github.com/delta-io/connectors,在我们Hive的路上。然后使用以下格式创建一个表。创建外部表test.dl\u尝试\u流(…)由“io.delta.hive.deltastoragehandler”位置存储
delta格式默认选择分区,所以在创建表时不需要提及分区。
注意:如果数据是通过spark作业插入的,请提供hive-site.xml,并在spark作业中启用hivesupport,以便在配置单元中创建delta湖表。

相关问题