亲爱的swarm intelligence,
我对flink和hadoop还不太熟悉,所以我试着玩一下。我有3个google云平台vm,我想在上面安装flink和hadoop分布式文件系统hdfs。所以要安装hdfs,我遵循了一个教程,一切似乎都正常。我可以通过cli使用 hdfs dfs -COMMAND /
. 所以现在我从apache网站下载了flink的二进制文件。如果我在本地运行例如webcount示例,一切都正常。另外,如果我想通过 ./bin/flink run -m localhost:8081 JAR
它也起作用。只有当我想提供来自hdfs的输入和输出参数时,它才会大喊错误:
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
和
Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded.
命令:
./bin/flink run -m localhost:8081 examples/batch/WordCount.jar --input hdfs://hadoop-master:9000/test/hello.txt
我已经尝试过将flink-shaded-hadoop-2-uber-2.8.3-10.0.jar和flink-hadoop-compatibility_2.12-1.12.1.jar复制到lib文件夹中,正如一些助手在stackoverflow上建议的那样。但没用。
hadoop版本:3.3.0
flink版本:1.12.1
1条答案
按热度按时间apeeds0o1#
我在一次大学作业中也遇到了类似的问题;)我的解决方案:
下载https://hadoop.apache.org/releases.html
添加到vm
套
HADOOP_CLASSPATH
输出hadoop classpath命令