在我的spark代码中,我必须在hadoopconfiguration中设置access_key和secret_key才能访问aws-s3。通过互联网,我找到了多种设置这些属性的方法。
例如。
样式#1,
sc.hadoopConfiguration.set("fs.s3n.access.key", AWS_ACCESS_KEY)
sc.hadoopConfiguration.set("fs.s3n.secret.key", AWS_SECRET_KEY)
样式#2,
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", AWS_ACCESS_KEY)
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", AWS_SECRET_KEY)
在上面的语法中,样式#1(fs.s3n.access.key)不工作,而样式#2(fs.s3n.awsaccesskeyid)工作正常。我想知道样式#1是否特定于任何hadoop版本,或者在hadoop配置中不支持它?
在哪里可以找到所有可能的hadoopconfiguration属性,与spark、aws、hive、s3等相关?
1条答案
按热度按时间vyu0f0g11#
access.key
以及secret.key
用于s3a
连接器。阿法尔,s3n
始终使用的方案awsAccessKeyId/awsSecretAccessKey
风格。有关配置参考,请参阅官方hadoop文档或源代码,这是验证配置参数名称的最佳方法。