我尝试在amazon弹性mapreduce上使用hadoop，在那里我有数千个map任务要执行。如果有一小部分任务失败了，我没问题，但是，amazon关闭了作业，当第一个mapper失败时，我会丢失所有结果。是否有一个设置可用于增加允许的失败作业数？谢谢。
xnifntxz1#
以下是hadoop的答案：是否有任何属性可定义失败的Map器阈值要在emr中使用上述设置，请查看：http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop具体来说，创建一个xml文件（示例中为config.xml），其中包含要更改的设置并应用引导操作：./elastic mapreduce--create--bootstrap action s3://elasticmapreduce/bootstrap actions/configure hadoop--args“-m，s3://myawsbucket/config.xml”
1条答案
按热度按时间xnifntxz1#
以下是hadoop的答案：
是否有任何属性可定义失败的Map器阈值
要在emr中使用上述设置，请查看：
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop
具体来说，创建一个xml文件（示例中为config.xml），其中包含要更改的设置并应用引导操作：
./elastic mapreduce--create--bootstrap action s3://elasticmapreduce/bootstrap actions/configure hadoop--args“-m，s3://myawsbucket/config.xml”