我想知道如何设置名称节点数据节点Map器异径管在hadoop的代码/配置中。
aelbi1ox1#
namenode和datanode计数由您的业务需求决定。你不能通过编程来设置它们。如果您需要可伸缩性,就必须研究hdfs联邦的概念。有关联合的详细信息,请参阅此文档页。为了横向扩展名称服务,联合使用多个独立的名称节点/名称空间。namenodes是联合的;namenodes是独立的,不需要相互协调。datanodes被所有namenodes用作块的公共存储。Map器的数量由输入拆分决定。您可以通过编程设置减速器的数量,但framwork没有义务遵守您的建议。所以最好还是让hadoop决定Map器和还原器的数量。看看这个相关的问题:hadoop如何决定有多少节点将执行map和reduce任务编辑:hadoop群集大小:1。从业务需求中确定数据需求2。确定数据的复制因子3。计算未来4年的数据泄漏率。一旦有了上述数据,就可以考虑namenode和datanode的理想集群大小和硬件需求。有关更多详细信息,请参阅这篇cloudera文章。Map的正确并行级别似乎是每个节点10-100个Map“这里的节点是指namenode还是datanode?是数据节点。当谈到Map程序时,有些人说与拆分的数目相同,另一些人说与块的数目相同,而另一些人说这是由框架决定的它是由hadoop框架根据输入拆分的数量决定的。看看相关的se问题:hadoop如何执行输入拆分?
1条答案
按热度按时间aelbi1ox1#
namenode和datanode计数由您的业务需求决定。你不能通过编程来设置它们。
如果您需要可伸缩性,就必须研究hdfs联邦的概念。
有关联合的详细信息,请参阅此文档页。
为了横向扩展名称服务,联合使用多个独立的名称节点/名称空间。namenodes是联合的;namenodes是独立的,不需要相互协调。datanodes被所有namenodes用作块的公共存储。
Map器的数量由输入拆分决定。
您可以通过编程设置减速器的数量,但framwork没有义务遵守您的建议。
所以最好还是让hadoop决定Map器和还原器的数量。
看看这个相关的问题:
hadoop如何决定有多少节点将执行map和reduce任务
编辑:
hadoop群集大小:1。从业务需求中确定数据需求2。确定数据的复制因子3。计算未来4年的数据泄漏率。一旦有了上述数据,就可以考虑namenode和datanode的理想集群大小和硬件需求。
有关更多详细信息,请参阅这篇cloudera文章。
Map的正确并行级别似乎是每个节点10-100个Map“这里的节点是指namenode还是datanode?
是数据节点。
当谈到Map程序时,有些人说与拆分的数目相同,另一些人说与块的数目相同,而另一些人说这是由框架决定的
它是由hadoop框架根据输入拆分的数量决定的。
看看相关的se问题:
hadoop如何执行输入拆分?