在map reduce模式下启动pig之前，您必须启动history server else，在尝试执行pig拉丁语句时，会生成以下日志：
2018-10-18 15:59:13,709 [main] INFO
org.apache.hadoop.mapred.ClientServiceDelegate - Application state
is completed. FinalApplicationStatus=SUCCEEDED.**Redirecting to job
history server**
2018-10-18 15:59:14,713 [main] INFO org.apache.hadoop.ipc.Client -
Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0
time(s); retry policy is
RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000
MILLISECONDS)如上面的日志所示，pig执行引擎正在尝试连接历史服务器。请解释hadoop中作业历史服务器的角色，以及为什么需要为map reduce作业与pig中的历史服务器建立连接
1条答案
按热度按时间mefy6pfw1#
jobtracker或resourcemanager将所有作业信息保存在内存中。对于已完成的作业，它会删除它们以避免内存不足。对这些过去作业的跟踪委托给jobhistory服务器。
pig客户机在其作业完成时提取作业计数器统计信息。统计数据可能仍然与jobtracker/resourcemanager有关，或者pig可能需要询问jobhistory服务器。当jobhistory服务器关闭时，它会打印出这些日志消息，但最终客户端应该仍然会成功，但缺少统计信息。