是否可以找到S3 bucket中的所有.json文件,其中存储桶本身可以有多个子目录?实际上,我的bucket包含多个子目录,我希望在这些子目录中收集所有JSON文件,以便迭代它们并解析特定的键/值。
bucket
.json
bq3bfh9z1#
下面是解决方案(使用boto模块):
import boto3 s3 = boto3.client('s3') # Create the connection to your bucket objs = s3.list_objects_v2(Bucket='my-bucket')['Contents'] files = filter(lambda obj: obj['Key'].endswith('.json'), objs) # json only return files
boto3中list_objects_v2函数的语法如下所示:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.list_objects_v2注意,只返回前1000个密钥。
list_objects_v2
1条答案
按热度按时间bq3bfh9z1#
下面是解决方案(使用boto模块):
boto3中
list_objects_v2
函数的语法如下所示:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.list_objects_v2注意,只返回前1000个密钥。