增加io.sort.mb

62lalag4 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(441)

如果有人能帮我找出我的配置出了什么问题，我们将不胜感激。
我想增加io.sort.mb的值，因此在core-site.xml中添加了下面的属性。io.sort.mb 350米
我在下面附上的运行时信息清楚地表明io.sort.mb的值没有改变，而是默认值io.sort.mb=100。

13/08/15 16:43:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1e5e96c1
13/08/15 16:43:34 INFO mapred.MapTask: numReduceTasks: 1
13/08/15 16:43:34 INFO mapred.MapTask:**io.sort.mb = 100**
13/08/15 16:43:34 INFO mapred.MapTask: data buffer = 79691776/99614720
13/08/15 16:43:34 INFO mapred.MapTask: record buffer = 262144/327680
13/08/15 16:43:34 INFO mapred.MapTask: Starting flush of map output
13/08/15 16:43:34 INFO mapred.MapTask: Finished spill 0
13/08/15 16:43:34 INFO mapred.Task: Task:attempt_local_0001_m_004609_0 is done. And is in the process of commiting

由于它不起作用，我在mapred-site.xml模式中添加了属性，但是得到了与上面相同的结果。
有人能建议我该怎么办吗？
先谢谢你。
哈克

hadoop

来源：https://stackoverflow.com/questions/18258078/increasing-io-sort-mb

2条答案

按热度按时间

uoifb46i1#

这个conf应该在mapred-site.xml中，而不是在core-site.xml中
参考：http://hadoop.apache.org/docs/r1.0.4/mapred-default.html

赞(0）回复(0）举报 2021-06-03

cmssoen22#

根据本文，io.sort.mb应该是10*io.sort.factor，以防内存不足。
“核心站点.xml”

<property>
<name>io.sort.factor</name>
<value>100</value>
<description>More streams merged at once while sorting files.</description>
</property>  

<property>
<name>io.sort.mb</name>
<value>200</value>
<description>Higher memory-limit while sorting data.</description>
</property>

同时尝试更改所有节点上的排序因子。

赞(0）回复(0）举报 2021-06-03

我来回答

增加io.sort.mb

2条答案

相关问题

热门标签

最新问答