hadoop不在类路径/依赖项中,hdfs不是有效的文件方案

htrmnn0y  于 2021-07-15  发布在  Hadoop
关注(0)|答案(1)|浏览(381)

亲爱的swarm intelligence,
我对flink和hadoop还不太熟悉,所以我试着玩一下。我有3个google云平台vm,我想在上面安装flink和hadoop分布式文件系统hdfs。所以要安装hdfs,我遵循了一个教程,一切似乎都正常。我可以通过cli使用 hdfs dfs -COMMAND / . 所以现在我从apache网站下载了flink的二进制文件。如果我在本地运行例如webcount示例,一切都正常。另外,如果我想通过 ./bin/flink run -m localhost:8081 JAR 它也起作用。只有当我想提供来自hdfs的输入和输出参数时,它才会大喊错误:

Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.

Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded.

命令:

./bin/flink run -m localhost:8081 examples/batch/WordCount.jar --input hdfs://hadoop-master:9000/test/hello.txt

我已经尝试过将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar和flink-hadoop-compatibility_2.12-1.12.1.jar复制到lib文件夹中,正如一些助手在stackoverflow上建议的那样。但没用。
hadoop版本:3.3.0
flink版本:1.12.1

apeeds0o

apeeds0o1#

我在一次大学作业中也遇到了类似的问题;)我的解决方案:
下载https://hadoop.apache.org/releases.html
添加到vm
HADOOP_CLASSPATH 输出hadoop classpath命令

相关问题