hadoop上集群节点资源的推荐?

mcdcgff0  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(324)

是否建议在群集的所有计算机上使用相同的资源(cpu和ram)?

bvk5enib

bvk5enib1#

集群的基础设施配置将由构建集群的业务案例决定,而构建集群的业务案例又将转化为集群实现业务结果所需满足的数据处理需求。一般来说,hadoop系统最初的设计理念是在集群中存在具有异构配置的机器(现在服务器供应商已经为hadoop工作负载优化了机器,在主服务器和从服务器之间有一些磁盘大小的变化。
为了明确地回答您的问题,我在一些站点上看到了多达50个节点的集群,它们的主节点和从节点的配置完全相同(我认为这有点过分了)。通常,架构设计决策并不总是决定采购决策。
以下来自3家主要hadoop发行商的链接将是了解更多集群设计和应用站点特定参数(即数据处理需求、数据增长、数据保留、复制等)的良好起点:
霍顿作品:
https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.5.5/bk_cluster-planning/bk_cluster-planning.pdf
cloudera公司:
https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/
Map:
http://doc.mapr.com/display/mapr/planning+cluster+hardware

相关问题