java.util.serviceconfigurationerror:org.apache.hadoop.fs.filesystem:provider org.apache.hadoop.fs.localfilesystem不是子类型

dpiehjr4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(302)

我的回购与示例代码
我试着用Flink的资源。
在我的代码中,我从hdfs orc文件中读取数据,并将结果写入本地文件系统。当我从idea运行这个代码时-效果很好。当我在集群中运行代码时-我看到跟踪:

Caused by: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.LocalFileSystem not a subtype
at java.util.ServiceLoader.fail(ServiceLoader.java:239)
at java.util.ServiceLoader.access$300(ServiceLoader.java:185)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:376)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404)
at java.util.ServiceLoader$1.next(ServiceLoader.java:480)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2565)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2576)
at org.apache.flink.runtime.fs.hdfs.HadoopFsFactory.create(HadoopFsFactory.java:99)

我认为这是由于糟糕的集群配置,但我不知道如何修复它。
我的环境:
阅读Hadoop2.6.0(由cloudera提供)
我笔记本电脑上的flink cluster 1.4.0(本地)。
java 8(1.8.0_)
我尝试在flink集群上运行我的代码,在那里收到了相同的错误。flink集群位于hdfs集群所在的位置。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题