在spark的“客户端”部署模式下，spark驱动程序不消耗内核，只有spark应用程序消耗内核。但是为什么在“集群”模式下，spark驱动程序本身需要一个内核呢？
2izufjch1#
spark上下文中的内核与cpu内核不同。它只是一个具有一定内存量的计算单元。运行任何进程都需要一个内核。驱动程序需要协调集群上的spark任务。实际上，它很可能只消耗了一小部分cpu，可能消耗了1-2GB左右的内存。
w6mmgewl2#
在客户机模式下，提交作业的机器是驱动程序。
2条答案
按热度按时间2izufjch1#
spark上下文中的内核与cpu内核不同。它只是一个具有一定内存量的计算单元。运行任何进程都需要一个内核。驱动程序需要协调集群上的spark任务。实际上，它很可能只消耗了一小部分cpu，可能消耗了1-2GB左右的内存。
w6mmgewl2#
在客户机模式下，提交作业的机器是驱动程序。