Hadoop配置属性

kkih6yb8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(349)

在我的spark代码中,我必须在hadoopconfiguration中设置access_key和secret_key才能访问aws-s3。通过互联网,我找到了多种设置这些属性的方法。
例如。
样式#1,

sc.hadoopConfiguration.set("fs.s3n.access.key", AWS_ACCESS_KEY)
sc.hadoopConfiguration.set("fs.s3n.secret.key", AWS_SECRET_KEY)

样式#2,

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", AWS_ACCESS_KEY)
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", AWS_SECRET_KEY)

在上面的语法中,样式#1(fs.s3n.access.key)不工作,而样式#2(fs.s3n.awsaccesskeyid)工作正常。我想知道样式#1是否特定于任何hadoop版本,或者在hadoop配置中不支持它?
在哪里可以找到所有可能的hadoopconfiguration属性,与spark、aws、hive、s3等相关?

vyu0f0g1

vyu0f0g11#

access.key 以及 secret.key 用于 s3a 连接器。阿法尔, s3n 始终使用的方案 awsAccessKeyId/awsSecretAccessKey 风格。
有关配置参考,请参阅官方hadoop文档或源代码,这是验证配置参数名称的最佳方法。

相关问题