flink流式处理作业无法连接到localstack s3

cuxqih21  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(373)

我正在使用一个名为localstack的产品在本地模拟amazons3,它充当flink作业的流文件接收器。
在运行日志中,我可以看到flink忽略localstack并尝试联系amazons3。

  1. Received error response: org.apache.flink.fs.s3base.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Service Unavailable
  2. Retrying Request: HEAD https://s3.amazonaws.com /testBucket/

在flink-conf.yaml中,我指定了以下配置属性:

  1. s3.impl: org.apache.hadoop.fs.s3a.S3AFileSystem
  2. s3.buffer.dir: ./tmp
  3. s3.endpoint: localhost:4566
  4. s3.path.style.access: true
  5. s3.access-key:***
  6. s3.secret-key:***

为什么Flink会无视 s3.endpoint ?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题