我部署了一个spark集群,其中有三台机器名为bc,在这三台机器上也部署了一个hdfs集群。
当我使用hdfs作为a、b或c机器上的输入提交spark任务时,只有一台机器正在运行。如下所示:
但是当我向另一台机器提交相同的spark任务时,这三台机器都在运行。如下所示:
我已经定好了 dfs.replication
到hdfs-site.xml中的3,所以这三台机器都应该有输入文件的完整数据。为什么只有一台机器运行spark任务?
我部署了一个spark集群,其中有三台机器名为bc,在这三台机器上也部署了一个hdfs集群。
当我使用hdfs作为a、b或c机器上的输入提交spark任务时,只有一台机器正在运行。如下所示:
但是当我向另一台机器提交相同的spark任务时,这三台机器都在运行。如下所示:
我已经定好了 dfs.replication
到hdfs-site.xml中的3,所以这三台机器都应该有输入文件的完整数据。为什么只有一台机器运行spark任务?
暂无答案!
目前还没有任何答案,快来回答吧!