配置单元能否从不在hdfs上的外部位置加载数据?

zf2sa74q  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(358)

我试图理解的是,对于hive中的外部表,我们可以将位置放在hdfs之外吗?我的意思是,我想在google存储位置(gs://bucket name/table partitions)之上创建我的外部表。

ih99xse1

ih99xse11#

我想更新一下我之前提出的问题,是的,在google dataproc集群或独立集群上几乎没有代码更改的情况下,您可以继续这个链接—将50tb数据从本地hadoop集群迁移到google云存储

e3bfsja2

e3bfsja22#

这不是一个困难的问题,但需要开箱即用的资源调配,这在google云上并没有很好的文档记录。为了修复它,请更新以下hadoop configurations参数:
答。将您的服务帐户密钥字符串指向google.cloud.auth.service.account.email的google服务帐户(例如:domains include@test.gservice.com)。
b。将keyfile字符串更新到google.cloud.auth.service.account.keyfile的.p12位置。
c。将google.cloud.auth.service.account.enable更新为true。

相关问题