jets3t无法将文件上载到s3

8qgya5xd  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(336)

我正在尝试使用hadoopfs和jets3t将文件从本地上传到s3,但是我得到了以下错误 Caused by: java.util.concurrent.ExecutionException: org.apache.hadoop.fs.s3.S3Exception: org.jets3t.service.S3ServiceException: Request Error. HEAD '/project%2Ftest%2Fsome_event%2Fdt%3D2015-06-17%2FsomeFile' on Host 'host.s3.amazonaws.com' @ 'Thu, 18 Jun 2015 23:33:01 GMT' -- ResponseCode: 404, ResponseStatus: Not Found, RequestId: AVDFJKLDFJ3242, HostId: D+sdfjlakdsadf\asdfkpagjafdjsafdj 我不明白为什么jets3t需要做一个头部上传请求。既然我上传的文件在s3上还不存在,当然不应该找到。
我假设,因为我有一个404错误,它不能是一个权限问题。
调用此错误的代码是:

import org.apache.hadoop.conf.Configuration;
  import org.apache.hadoop.fs.FileStatus;
  import org.apache.hadoop.fs.FileSystem;
  import org.apache.hadoop.fs.Path;

...

String path = "s3n://mybucket/path/to/event/partition/file"
  Configuration conf = new Configuration();
  conf.set("fs.s3n.awsAccessKeyId", "MYACCESSKEY");
  conf.set("fs.s3n.awsSecretAccessKey", "MYSECRETKEY");
  FileSystem fileSystem = FileSystem.get(URI.create(path), conf);
  fileSystem.moveFromLocalFile("my/source/path/to/file", path);
dnph8jn4

dnph8jn41#

好吧,我为子孙后代回答这个问题。这个问题实际上是很专业的。
似乎我使用的是两个框架的不兼容版本。当然,maven是maven,无法检测到这一点。

相关问题