spark只能在一台机器上运行

js81xvg6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(390)

我部署了一个spark集群,其中有三台机器名为bc,在这三台机器上也部署了一个hdfs集群。
当我使用hdfs作为a、b或c机器上的输入提交spark任务时,只有一台机器正在运行。如下所示:

但是当我向另一台机器提交相同的spark任务时,这三台机器都在运行。如下所示:

我已经定好了 dfs.replication 到hdfs-site.xml中的3,所以这三台机器都应该有输入文件的完整数据。为什么只有一台机器运行spark任务?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题