如何将文件传输到spark executor

sczxawaw  于 2021-07-13  发布在  Spark
关注(0)|答案(1)|浏览(585)

我计划用spark提取Kafka的数据。spark cluster模式是独立的。我使用以下命令提交了我的作业

./spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 ~/Documents/3-Playground/kstream-de.py --files ~/Downloads/caroot.jks,~/Downloads/kclient.jks

但我错了

Caused by: java.nio.file.NoSuchFileException: /Users/picomy/App/spark-3.0.1-bin-hadoop3.2/scratch/spark-6e60fdee-7c8b-4fe0-a17c-1a4b1c547f6c/userFiles-9c3a19bd-f859-46e5-b681-1b382de75160/kclient.jks

spark submit未将文件传输到指定目录中的executor。
我怎样才能解决这个问题?

o2gm4chl

o2gm4chl1#

此错误是因为并非所有执行者都可以访问该路径。如果在hadoop的集群模式下使用spark,那么就可以使用hdfs路径。但是在这里,您正在使用standalonspark,那么我建议使用所有执行者都可以访问的nfs(共享路径),并提供nfs文件路径。
如果您需要任何帮助来创建nfs,那么您可以使用下面的两个链接
https://www.tecmint.com/how-to-setup-nfs-server-in-linux/
https://www.linuxbabe.com/ubuntu/nfs-share

相关问题