我看到两种选择:使用hdfs mesos存储库,该存储库目前已弃用,建议不要用于生产工作负载。使用完全受中间层支持的dc/os hdfs。我想知道是否有一种方法可以在没有dc/os的情况下使用中间层/社区支持的hdfs。
cgvd09ve1#
由于服务包方法,在没有dc/os的情况下运行支持中间层的hdfs是不容易的。我建议您从cloudera堆栈部署自己的hdfs。datanode应该在mesos从属服务器上运行,namenode master应该在主服务器上运行,如下所示https://github.com/mesos/hadoop. 作业跟踪器应该在主节点上运行,mesos应该能够在hdfs底层启动任务。
1条答案
按热度按时间cgvd09ve1#
由于服务包方法,在没有dc/os的情况下运行支持中间层的hdfs是不容易的。我建议您从cloudera堆栈部署自己的hdfs。datanode应该在mesos从属服务器上运行,namenode master应该在主服务器上运行,如下所示https://github.com/mesos/hadoop. 作业跟踪器应该在主节点上运行,mesos应该能够在hdfs底层启动任务。