当我查看spark ui上的作业选项卡时，我可以看到任务状态，如20/20/（4失败）。这是否意味着失败任务的数据丢失？那些失败的任务不是移到了diff执行器吗？
4sup72z81#
虽然您应该警惕失败的任务（它们通常是潜在内存问题的指标），但您不必担心数据丢失。这些阶段已标记为成功完成，因此失败的任务实际上（最终）已成功处理。
1条答案
按热度按时间4sup72z81#
虽然您应该警惕失败的任务（它们通常是潜在内存问题的指标），但您不必担心数据丢失。这些阶段已标记为成功完成，因此失败的任务实际上（最终）已成功处理。