有人能解释一下Spark架构的哪个组件将Spark应用程序转换为DAG吗?有人能帮助我在哪里可以找到Spark架构绝对超深度的完整内部工作吗?我试图深入了解Apache Spark架构。在第一阶段,我了解到,Spark应用程序被转换为DAG(有向无环图)。DAG Schedular将根据Spark物理执行引擎(Tungsten)准备的执行计划来调度该DAG。
7rfyedvj1#
这将是催化剂优化器。This article详细讨论了催化剂优化器。如果您正在寻找极致的细节,请不要犹豫,看看source code,您总能学到一些新东西:D希望这对你有帮助!
1条答案
按热度按时间7rfyedvj1#
这将是催化剂优化器。This article详细讨论了催化剂优化器。
如果您正在寻找极致的细节,请不要犹豫,看看source code,您总能学到一些新东西:D
希望这对你有帮助!