我们公司正在从s3迁移到gcs。而命令行实用程序 gsutil
工作正常,我在配置hadoop(core site.xml)以允许访问gcs时遇到了困难。这个谷歌页面https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml 列出需要添加的名称-值对,但我在~/.boto文件中找不到这些名称-值对。.boto文件只有以下集合: gs_oauth2_refresh_token
在[凭证]下
[gsutil]下的默认\u项目\u id
很少有人喜欢api\ U版本等。。[oauth2]部分为空。
我是否可以使用 gs_oauth2_refresh_token
并将它们添加到hadoop配置中?或者我能从其他人那里得到这些吗 gsutil
配置文件?
1条答案
按热度按时间jfgube3f1#
对于hadoop配置,您可能希望使用服务帐户,而不是与实际电子邮件地址关联的gsutil凭据;有关设置gcs连接器的更多详细信息,请参阅这些手册
p12
密钥文件以及其他必要的配置参数。