你能选择boto3s3协议吗?

f0brbegy  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(398)

显然,普通的s3uri协议几乎被弃用了。这就是boto3的用途吗?我们可以选择新的首选方法s3n或s3a吗?
来自amazons3 wiki:
由s3支持的基于块的文件系统。文件以块的形式存储,就像它们在hdfs中一样。这允许高效地执行重命名。此文件系统要求为文件系统指定一个存储桶—不应使用包含文件的现有存储桶,也不应将其他文件写入同一个存储桶。这个文件系统存储的文件可以大于5gb,但它们不能与其他s3工具互操作。不再有人通过这个方案上传数据到s3;它最终将完全从hadoop中删除。考虑一下(截至2016年5月),已弃用。

3lxsmp7m

3lxsmp7m1#

作为后端,boto3使用aws s3 rest api:http://docs.aws.amazon.com/amazons3/latest/api/welcome.html
这是目前唯一的选择。
如果你不喜欢boto3的工作方式,可以考虑设计自己的请求。

相关问题