我想知道是否可以在没有Hadoop服务的集群上运行Spark。看起来应该是这样的，给出了像standlone spark和spark on mesos这样的页面，但即使这样也没有提供HDFS的替代方案。有吗我们的目标是找到一种方法来部署Spark集群，而无需注册管理Hadoop集群。
我想知道是否可以在没有Hadoop服务的集群上运行Spark。看起来应该是这样的，给出了像standlone spark和spark on mesos这样的页面，但即使这样也没有提供HDFS的替代方案。有吗我们的目标是找到一种方法来部署Spark集群，而无需注册管理Hadoop集群。
1条答案
按热度按时间biswetbf1#
NFS，S3（Minio），GCS，Azure WASB，Databricks DBFS，Ceph都可以与Spark一起使用。
根据其页面上的说明，Mesos上的Spark已被弃用，转而支持Kubernetes，Kubernetes的管理比Hadoop更复杂。