如何在windows机器上设置spark cluster?

mkshixfv  于 2021-06-21  发布在  Mesos
关注(0)|答案(2)|浏览(325)

我正在尝试在windows机器上设置一个spark集群。
这里的方法是使用独立模式,对吗?
不使用mesos或Yarn的具体缺点是什么?使用其中一种会有多痛苦?有人在这里有经验吗?

tyky79it

tyky79it1#

请注意,yarn最终应该通过hortonworks数据平台在windows上工作(2.0 beta版在yarn上,但目前仅在linux上)。另一个可能的方法是让它与hadoop1.1(hortonworksdataplatformforwindows1.1)兼容——但是让它在独立模式下运行的方法肯定是最容易实现的。

kkbh8khc

kkbh8khc2#

仅供参考,我在用户组中得到了一个答案:https://groups.google.com/forum/#!topic/spark用户/sybjhqxbqis
独立模式确实是一条路要走。mesos在Windows和Yarn下都不起作用。

相关问题