我们有以下要求。
我们总共有5台服务器，将用于构建bigdatahadoop数据仓库系统（我们不会使用cloudera、hortonworks等任何发行版）。
所有服务器配置为512gb ram、30tb存储和16核，ubuntu linux 14.04lts服务器
我们会在所有服务器上安装hadoop。server3、4、5将完全将它们用于datanode（从机），而server1将具有活动的namenode和datanode。server2将具有备用namenode和datanode。
在配置hadoop时，我们要为namenode配置300gbram，为datanode配置212gbram。
有人能帮我怎么做吗。hadoop中需要更改的配置文件。我们需要在hadoop配置文件中配置什么参数。
谢谢和问候，suresh pitchaipillai
2条答案
按热度按时间9njqaruj1#
假设您将在yarn中使用最新的hadoop发行版。
阅读本文-参考资料。它详细地解释了每一个参数，解释起来非常棒。
hortenworks还有一篇文章，不过它适用于所有基于apache的hadoop发行版。
最后保持这种手感。这是不言自明的。
xcitsw882#
您可以从cloudera manager（如果您使用cdh）或ambari（如果您使用hortonworks）设置这些属性。
此外，namenode不需要300gb，因为namenode只存储metadat。粗略地说，1gb的namenode堆可以存储一百万个块（块大小=128mb）的元数据。更多详情请参见：https://issues.apache.org/jira/browse/hadoop-1687