我对我的多节点hadoop集群的Yarn配置感到困惑。
我在hadoop中有多节点(3节点)。我有4个virtualbox(1个主节点和3个数据节点)。我的主机是windows,4vm是linux和ubuntu。在我的virtualbox上,我选择了固定大小的分配,它从我的主机上获取实际大小。
192.112.56.1(主节点-30gb ram、6核vcpu、40gb硬盘)
192.112.56.2(数据节点1-24gb ram、6核vcpu、100gb硬盘)
192.112.56.3(数据节点2-24gb ram、6核vcpu、100gb硬盘)
192.112.56.3(数据节点3-24gb ram、6核vcpu、100gb硬盘)
这是我的Yarn配置:yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20000</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>5</value>
</property>
</configuration>
这是我的mapred-site.xml文件:
<configuration>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1638m</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx3278m</value>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>2</value>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>3</value>
</property>
</configuration>
我的输入数据大小为26gb。我保存在hdfs中。
我对hadoop非常陌生。请告诉我如何配置yarn-site.xml和mapred-sit.xml文件。
暂无答案!
目前还没有任何答案,快来回答吧!