我计划用spark提取Kafka的数据。spark cluster模式是独立的。我使用以下命令提交了我的作业
./spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 ~/Documents/3-Playground/kstream-de.py --files ~/Downloads/caroot.jks,~/Downloads/kclient.jks但我错了
Caused by: java.nio.file.NoSuchFileException: /Users/picomy/App/spark-3.0.1-bin-hadoop3.2/scratch/spark-6e60fdee-7c8b-4fe0-a17c-1a4b1c547f6c/userFiles-9c3a19bd-f859-46e5-b681-1b382de75160/kclient.jksspark submit未将文件传输到指定目录中的executor。
我怎样才能解决这个问题？
1条答案
按热度按时间o2gm4chl1#
此错误是因为并非所有执行者都可以访问该路径。如果在hadoop的集群模式下使用spark，那么就可以使用hdfs路径。但是在这里，您正在使用standalonspark，那么我建议使用所有执行者都可以访问的nfs（共享路径），并提供nfs文件路径。
如果您需要任何帮助来创建nfs，那么您可以使用下面的两个链接
https://www.tecmint.com/how-to-setup-nfs-server-in-linux/
https://www.linuxbabe.com/ubuntu/nfs-share