如何从aws emr中的hadoop访问s3文件夹

ssgvzors  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(338)

我想创建一个 InputStream 从s3文件夹中的多个文件中使用类似的hdfs方法。代码在主节点上的aws emr中的hadoop3.2.1上运行,这意味着我有一个 Configuration 对象。我用以下代码进行了尝试:

try (FileSystem fileSystem = FileSystem.get(conf);
     InputStream inputStream = fileSystem.open(new Path("s3://<bucket>/<folder>")))
{
    ...
}

它给了我以下错误: Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: s3://<bucket>/<folder>, expected: hdfs://ip-172-31-70-194.ec2.internal:8020 (当然 <bucket> 以及 <folder> 只是填充物)
我还有别的办法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题