Spark架构的哪个组件将Spark应用程序转换为DAG?

mspsb9vt  于 2022-12-13  发布在  Apache
关注(0)|答案(1)|浏览(130)

有人能解释一下Spark架构的哪个组件将Spark应用程序转换为DAG吗?有人能帮助我在哪里可以找到Spark架构绝对超深度的完整内部工作吗?
我试图深入了解Apache Spark架构。在第一阶段,我了解到,Spark应用程序被转换为DAG(有向无环图)。DAG Schedular将根据Spark物理执行引擎(Tungsten)准备的执行计划来调度该DAG。

7rfyedvj

7rfyedvj1#

这将是催化剂优化器。This article详细讨论了催化剂优化器。
如果您正在寻找极致的细节,请不要犹豫,看看source code,您总能学到一些新东西:D
希望这对你有帮助!

相关问题