我已经设置了一个小规模的集群,如果hadoop与hbase为 Nutch 2.3.1
. hadoop版本是2.7.7,hbase是0.98。我已经定制了一个hadoop作业,现在我必须在驱动程序类中为reducer任务设置内存。我知道,在简单的hadoop中,乔布斯先生,你可以使用 JobConf
方法 setMemoryForReducer
. 但是nutch没有任何可用的选项。在我的例子中,当前,reducer内存通过 mapred-site.xml
(hadoop配置)。但是对于努奇,我必须加倍。
是否可以不通过驱动程序类或nutch-site.xml更改hadoop conf文件
1条答案
按热度按时间vwoqyblh1#
最后,我终于找到了解决办法。
NutchJob
完成目标。下面是代码片段