我正在尝试在windows机器上设置一个spark集群。这里的方法是使用独立模式,对吗?不使用mesos或Yarn的具体缺点是什么?使用其中一种会有多痛苦?有人在这里有经验吗?
tyky79it1#
请注意,yarn最终应该通过hortonworks数据平台在windows上工作(2.0 beta版在yarn上,但目前仅在linux上)。另一个可能的方法是让它与hadoop1.1(hortonworksdataplatformforwindows1.1)兼容——但是让它在独立模式下运行的方法肯定是最容易实现的。
kkbh8khc2#
仅供参考,我在用户组中得到了一个答案:https://groups.google.com/forum/#!topic/spark用户/sybjhqxbqis独立模式确实是一条路要走。mesos在Windows和Yarn下都不起作用。
2条答案
按热度按时间tyky79it1#
请注意,yarn最终应该通过hortonworks数据平台在windows上工作(2.0 beta版在yarn上,但目前仅在linux上)。另一个可能的方法是让它与hadoop1.1(hortonworksdataplatformforwindows1.1)兼容——但是让它在独立模式下运行的方法肯定是最容易实现的。
kkbh8khc2#
仅供参考,我在用户组中得到了一个答案:https://groups.google.com/forum/#!topic/spark用户/sybjhqxbqis
独立模式确实是一条路要走。mesos在Windows和Yarn下都不起作用。