我现在正在学习mesos,想知道是否有可能在mesos池上执行级联定义的作业。由于mesos支持hadoop和级联流编译成hadoopjar文件,我认为这是可行的。但我需要尊重特定的设置吗?
sulc1iza1#
在mesos上使用hadoop运行级联作业没有什么特别的需要。但是,您确实需要安装和配置hadoop。除了mapreduce实现之外,您可能还需要使用hdfs。对于mr1,项目位于:https://github.com/mesos/hadoop对于mr2,项目位于:https://wiki.apache.org/incubator/myriadproposal
1条答案
按热度按时间sulc1iza1#
在mesos上使用hadoop运行级联作业没有什么特别的需要。但是,您确实需要安装和配置hadoop。除了mapreduce实现之外,您可能还需要使用hdfs。
对于mr1,项目位于:https://github.com/mesos/hadoop
对于mr2,项目位于:https://wiki.apache.org/incubator/myriadproposal