查找S3 Bucket中的所有JSON文件

sqxo8psd  于 2022-12-15  发布在  其他
关注(0)|答案(1)|浏览(192)

是否可以找到S3 bucket中的所有.json文件,其中存储桶本身可以有多个子目录?
实际上,我的bucket包含多个子目录,我希望在这些子目录中收集所有JSON文件,以便迭代它们并解析特定的键/值。

bq3bfh9z

bq3bfh9z1#

下面是解决方案(使用boto模块):

import boto3

s3 = boto3.client('s3')  # Create the connection to your bucket
objs = s3.list_objects_v2(Bucket='my-bucket')['Contents']

files = filter(lambda obj: obj['Key'].endswith('.json'), objs)  # json only 
return files

boto3中list_objects_v2函数的语法如下所示:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.list_objects_v2
注意,只返回前1000个密钥。

相关问题