我的回购与示例代码
我试着用Flink的资源。
在我的代码中,我从hdfs orc文件中读取数据,并将结果写入本地文件系统。当我从idea运行这个代码时-效果很好。当我在集群中运行代码时-我看到跟踪:
Caused by: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.LocalFileSystem not a subtype
at java.util.ServiceLoader.fail(ServiceLoader.java:239)
at java.util.ServiceLoader.access$300(ServiceLoader.java:185)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:376)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404)
at java.util.ServiceLoader$1.next(ServiceLoader.java:480)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2565)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2576)
at org.apache.flink.runtime.fs.hdfs.HadoopFsFactory.create(HadoopFsFactory.java:99)
我认为这是由于糟糕的集群配置,但我不知道如何修复它。
我的环境:
阅读Hadoop2.6.0(由cloudera提供)
我笔记本电脑上的flink cluster 1.4.0(本地)。
java 8(1.8.0_)
我尝试在flink集群上运行我的代码,在那里收到了相同的错误。flink集群位于hdfs集群所在的位置。
暂无答案!
目前还没有任何答案,快来回答吧!