我试图理解的是,对于hive中的外部表,我们可以将位置放在hdfs之外吗?我的意思是,我想在google存储位置(gs://bucket name/table partitions)之上创建我的外部表。
ih99xse11#
我想更新一下我之前提出的问题,是的,在google dataproc集群或独立集群上几乎没有代码更改的情况下,您可以继续这个链接—将50tb数据从本地hadoop集群迁移到google云存储
e3bfsja22#
这不是一个困难的问题,但需要开箱即用的资源调配,这在google云上并没有很好的文档记录。为了修复它,请更新以下hadoop configurations参数:答。将您的服务帐户密钥字符串指向google.cloud.auth.service.account.email的google服务帐户(例如:domains include@test.gservice.com)。b。将keyfile字符串更新到google.cloud.auth.service.account.keyfile的.p12位置。c。将google.cloud.auth.service.account.enable更新为true。
2条答案
按热度按时间ih99xse11#
我想更新一下我之前提出的问题,是的,在google dataproc集群或独立集群上几乎没有代码更改的情况下,您可以继续这个链接—将50tb数据从本地hadoop集群迁移到google云存储
e3bfsja22#
这不是一个困难的问题,但需要开箱即用的资源调配,这在google云上并没有很好的文档记录。为了修复它,请更新以下hadoop configurations参数:
答。将您的服务帐户密钥字符串指向google.cloud.auth.service.account.email的google服务帐户(例如:domains include@test.gservice.com)。
b。将keyfile字符串更新到google.cloud.auth.service.account.keyfile的.p12位置。
c。将google.cloud.auth.service.account.enable更新为true。