如何在hadoop中设置namenodes、datanodes、mapper和reducer的数量

vatpfxk5  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(523)

我想知道如何设置
名称节点
数据节点
Map器
异径管
在hadoop的代码/配置中。

aelbi1ox

aelbi1ox1#

namenode和datanode计数由您的业务需求决定。你不能通过编程来设置它们。
如果您需要可伸缩性,就必须研究hdfs联邦的概念。
有关联合的详细信息,请参阅此文档页。
为了横向扩展名称服务,联合使用多个独立的名称节点/名称空间。namenodes是联合的;namenodes是独立的,不需要相互协调。datanodes被所有namenodes用作块的公共存储。

Map器的数量由输入拆分决定。
您可以通过编程设置减速器的数量,但framwork没有义务遵守您的建议。
所以最好还是让hadoop决定Map器和还原器的数量。
看看这个相关的问题:
hadoop如何决定有多少节点将执行map和reduce任务
编辑:
hadoop群集大小:1。从业务需求中确定数据需求2。确定数据的复制因子3。计算未来4年的数据泄漏率。一旦有了上述数据,就可以考虑namenode和datanode的理想集群大小和硬件需求。
有关更多详细信息,请参阅这篇cloudera文章。
Map的正确并行级别似乎是每个节点10-100个Map“这里的节点是指namenode还是datanode?
是数据节点。
当谈到Map程序时,有些人说与拆分的数目相同,另一些人说与块的数目相同,而另一些人说这是由框架决定的
它是由hadoop框架根据输入拆分的数量决定的。
看看相关的se问题:
hadoop如何执行输入拆分?

相关问题