我目前正在hadoop-2.3.0集群上运行一些mapreduce作业，该集群有8个从节点，但是这些作业执行所用的时间比预期的要长。如何测试map（或reduce）任务是否并行运行？配置文件中有哪些属性需要修改，以便Map程序（在本例中是其中的8个）并行运行。
bxpogfeg1#
您应该签入hadoop集群web界面。转到跟踪工作状态的url，查找类似以下内容的行：15/04/11 17:29:07 info mapreduce.job:跟踪作业的url:http://hadoopsrv：60540/代理/申请\u 1428349332728 \u 0303/此网页显示作业状态（成功/失败…）、每个任务完成的时间、Map/减少任务数及其状态、日志等。。。
vpfxa7rd2#
hadoop附带了几个web界面，默认情况下，这些界面在以下位置可用：http://namenode1_server_ip_address：50070-hdfs namenode1的web uihttp://namenode2_server_ip_address：50070-hdfs namenode2的web uihttp://resource_manager_server_ip_address：8088–mapreducejobtracker的web uihttp://job_history_server_ip_address：19888–tasktracker的web ui通过使用这些全web用户界面，您可以检查所有hadoopMap器、reducer、activenamenode、datanodes等的状态。
2条答案
按热度按时间bxpogfeg1#
您应该签入hadoop集群web界面。
转到跟踪工作状态的url，查找类似以下内容的行：
15/04/11 17:29:07 info mapreduce.job:跟踪作业的url:http://hadoopsrv：60540/代理/申请\u 1428349332728 \u 0303/
此网页显示作业状态（成功/失败…）、每个任务完成的时间、Map/减少任务数及其状态、日志等。。。
vpfxa7rd2#
hadoop附带了几个web界面，默认情况下，这些界面在以下位置可用：
http://namenode1_server_ip_address：50070-hdfs namenode1的web uihttp://namenode2_server_ip_address：50070-hdfs namenode2的web uihttp://resource_manager_server_ip_address：8088–mapreducejobtracker的web uihttp://job_history_server_ip_address：19888–tasktracker的web ui
通过使用这些全web用户界面，您可以检查所有hadoopMap器、reducer、activenamenode、datanodes等的状态。