java—尝试在hdfs集群上运行示例spark代码时,共享内存文件的空间不足

yvgpqqbh  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(200)

我有两个运行linux的vm集群,我在它们上面设置了spark和hadoop。尝试使用以下命令运行spark示例代码:

  1. spark-submit --class org.apache.spark.examples.JavaSparkPi /home/user/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar

我得到这个错误:

  1. OpenJDK 64-Bit Server VM warning: Insufficient space for shared memory file:
  2. 18383
  3. Try using the -Djava.io.tmpdir= option to select an alternate temp location.

同时运行 df -h 在我的主节点上生成以下结果:

  1. Filesystem Size Used Avail Use% Mounted on
  2. udev 2.0G 0 2.0G 0% /dev
  3. tmpfs 396M 43M 353M 11% /run
  4. /dev/vda1 30G 28G 0 100% /
  5. tmpfs 2.0G 0 2.0G 0% /dev/shm
  6. tmpfs 5.0M 0 5.0M 0% /run/lock
  7. tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
  8. tmpfs 396M 0 396M 0% /run/user/1000

如何解决此错误?
在联机搜索后,我发现以下命令: sudo apt clean 暂时解决了问题,但错误不断出现。
有什么想法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题