嗯，基本上我知道工作分配的整个过程：
在jobclient生成streamgraph；
在jobclient生成jobgraph；
将jobgraph发送给jobmaster生成executiongraph；
将executiongraph发送到taskmanager以生成物理执行计划。
但我不知道到底寄了什么样的东西。例如，当作业主管发送 ExecutionGraph 对于某个任务经理来说，什么是 ExecutionGraph ? 是档案吗？某种小溪？或者别的什么？
如果是文件，如果文件太大怎么办？尺寸有限制吗？
如果它是一个流，如果发送流花费太多的时间怎么办？超时是否有限制？
1条答案
按热度按时间tv6aics11#
作业管理器不发送执行图。在我看来，执行图是任务执行的逻辑视图（即一个操作符链的并行示例，也称为任务，槽共享任务组）。
jobmanager搜索可用的任务槽，以分配给槽共享组。这些插槽共享组中的任务被发送到具有相应插槽的任务管理器。之后，这些任务在不同线程的插槽中运行。
此外，作业经理和任务经理之间的任何消息传递都是由akka完成的。