将hbase和mapreduce进程集中在同一集群中

sd2nnvve  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(330)

为什么不建议将hbase和mapreduce进程集中在同一个集群中?

1cosmwyk

1cosmwyk1#

根本的问题是,分析io,尤其是读取操作,可以在全带宽下运行磁盘。需要共享带宽的hdfs可能会受到影响;你的服务水平协议有问题。
你可以做的是有一个单独的hdfs集群,在分析和hbase之间分开
不要在一个机架上运行Yarn节点管理器;将其奉献给hbase
在任何地方运行rms,但是使用Yarn标签来区分hbase节点和分析工作负载可以使用的节点;将标签附加到队列,以便大多数工作不会在hbase节点上运行。
第二个选项是使用apacheslider(孵化)在yarn集群中部署hbase时所做的事情。您可以为事物添加标签,以便hbase节点独占使用这些机器。即使在那里,远程网络io仍然可以从这些服务器上请求数据,但是Yarn放置调度器总是试图避免这样安排工作,所以这样做要少得多。

相关问题