python 写入json文件到s3存储桶而不保存到本地文件

gywdnpxw  于 2023-02-18  发布在  Python
关注(0)|答案(1)|浏览(150)

我在github repo中有一些数据集,我想使用python将它们移动到S3中,而不保存任何本地内容。
这是我的源公开回购:[https://github.com/statsbomb/开放数据/树/主/数据]
我已经看到boto 3的工作,但我必须保存在我的工作区的文件上传到s3。这是太多的数据下载,所以我想直接移动到s3,然后开始争吵的数据。

ni65a41a

ni65a41a1#

import requests
import boto3

s3 = boto3.client('s3')
bucket_name = 'your_bucket_name'

# List of datasets you want to download
datasets = [
    'events', 
    'matches', 
    'competitions.json', 
    'lineups'
]

# Download the datasets and upload them to S3
for dataset in datasets:
    url = f'https://github.com/statsbomb/open-data/blob/master/data/{dataset}.json?raw=true'
    response = requests.get(url, stream=True)
    s3.upload_fileobj(response.raw, bucket_name, f'{dataset}.json')

相关问题