jenkins aws s3同步命令间歇性中途失败,无错误

cdmah0mi  于 2023-06-21  发布在  Jenkins
关注(0)|答案(1)|浏览(141)

尝试通过Jenkins job命令在AWS S3中同步bucket(一个s3 bucket到另一个s3 bucket):

aws s3 sync s3://bucketname1 s3://bucketname2 --exclude *snaps/**** --exclude '*.html' --no-progress

问题:aws s3 sync命令间歇性中途失败,没有错误。这意味着,所有文件都不会同步到目标存储桶。
使用以下版本:

aws-cli version:
        aws-cli/2.11.23 Python/3.11.3 Linux/5.4.0-1039-aws exe/x86_64.ubuntu.20 prompt/off
    Jenkins version: 
        Jenkins 2.361.4

意见:

  • 在向标准输出打印了大约4k行之后,sync退出并显示非零状态代码
  • 我们使用上面的AWS CLI命令启用了--debug标志,并且没有发现任何关于此命令突然停止的错误或提示
  • 当我们从本地笔记本电脑运行此命令时,相同的命令可以正常工作。

在本地笔记本电脑中使用的版本:

aws-cli/2.7.16 Python/3.9.11 Darwin/21.5.0 exe/x86_64 prompt/off
lyr7nygr

lyr7nygr1#

对象大小可能是同步操作失败的原因。根据AWS文档,每个对象的限制为5 GB。如果是这种情况,您可能需要寻找多部分上传。

相关问题