我正在使用microsoft azure上的hadoop运行一些mapreduce作业。我已将dfs.block.size设置为16777216（即16mb），并将mapred.max.split.size设置为16mb。我还将每个任务跟踪器中的map任务数设置为16个(它是一个3+1节点的集群）。我还尝试使用-d选项设置mapred.map.tasks属性。但这些努力都没有成功地增加Map任务的数量，令人惊讶的是，这仍然是1。。有什么建议吗？提前谢谢。。编辑：输入大小很大（以GB为单位）
a9wyjsp71#
也许你的设置不起作用。您可以通过job conf页检查运行时作业配置，hadoop job conf页是 http://<host>:<port>/jobconf.jsp?jobid=<jobid> .
http://<host>:<port>/jobconf.jsp?jobid=<jobid>
ryoqjall2#
检查，该文件未压缩。
2条答案
按热度按时间a9wyjsp71#
也许你的设置不起作用。
您可以通过job conf页检查运行时作业配置，hadoop job conf页是
http://<host>:<port>/jobconf.jsp?jobid=<jobid>.ryoqjall2#
检查，该文件未压缩。