在Spark纱簇模式下使用1个驱动器核心和2个驱动器核心有什么区别？2如果我在纱簇模式下使用2个驱动器核心，那么Spark驱动器会在失败的情况下重新启动？3如果是这样，在失败之前会重试多少次？如果有人能分享这方面的文章，你会很感激吗？
rsaldnfx1#
当你在YARN集群模式下启动应用程序时，它会为你的驱动程序创建容器。这个容器--取决于你的应用--可能需要多个内核和多GB内存，这完全取决于有多少会话同时连接到你的Spark应用，以及你的查询的复杂性。如果看起来您的查询编译缓慢或您的Spark Web UI/应用程序挂起，那么增加内核数量可能是值得的。从YARN来看，仍然只有一个驱动程序容器。
1条答案
按热度按时间rsaldnfx1#
当你在YARN集群模式下启动应用程序时，它会为你的驱动程序创建容器。
这个容器--取决于你的应用--可能需要多个内核和多GB内存，这完全取决于有多少会话同时连接到你的Spark应用，以及你的查询的复杂性。
如果看起来您的查询编译缓慢或您的Spark Web UI/应用程序挂起，那么增加内核数量可能是值得的。
从YARN来看，仍然只有一个驱动程序容器。