请解释hadoop集群环境的高级架构?

nhjlsmyf  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(634)

关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗?**通过编辑这篇文章更新这个问题,使它只关注一个问题。

5年前关门了。
改进这个问题
由于我是hadoop管理的新手,我试图了解实时生产系统中的hadoop集群设置环境。
1) 到目前为止,大多数项目都运行在hadoopv1或hadoopv2上吗?
2) 对于单个项目,我们有单个集群还是多个集群(我听说有多个集群,每个集群都有特定的角色。)
3) hadoop集群通常运行在aws、rackspace之类的云上,还是运行在客户自己的网络上。?

mwngjboj

mwngjboj1#

你所有的问题都完全取决于客户、项目和许多其他因素。。但这是我的2美分
1) 大多数项目已经切换到hadoopv2。
2) 这要看情况而定,显然在生产之前,会有1到2个环境用于开发、测试和准备阶段等。但在生产中,一个项目将有一个环境,或者一个环境处理多个项目(yahoo拥有4500个节点(hadoop集群)
3) 节点数量因公司处理的数据量而异。。有一些公司在4节点集群和4000节点集群上运行生产集群
4) 同样,这取决于他们存储和处理的数据类型。。拥有银行等敏感信息的客户通常不会选择云计算,因为他们觉得数据在自己的数据中心是安全的。但有些客户完全喜欢云,因为他们节省了很多钱(比如aws上的《纽约时报》)。

相关问题