我正在开发一个具有多种(微型)服务的应用程序。我正在使用flink(通过kafka)在服务之间传输消息。flink嵌入到java应用程序中,每个应用程序都运行在单独的docker容器中。这是我第一次尝试flink,看完文档后,我仍然有一种感觉,我错过了一些基本的东西。谁在管理这些工作?作业管理器运行在哪里?如何监控处理过程?谢谢,摩西
z9smfwbn1#
我推荐stephan ewen在flink forward 2016的演讲。它解释了不同部署的当前apache flink体系结构(10:45)以及未来的目标。通常,jobmanager管理flink作业,TaskManager执行由多个任务组成的作业。组件的编排方式取决于您的部署(local、flink cluster、yarn、mesos等)。监控处理的最佳工具是端口8081处的flink web ui。默认情况下,它提供了不同的调试和监控指标(例如监控检查点或背压)。
1条答案
按热度按时间z9smfwbn1#
我推荐stephan ewen在flink forward 2016的演讲。它解释了不同部署的当前apache flink体系结构(10:45)以及未来的目标。
通常,jobmanager管理flink作业,TaskManager执行由多个任务组成的作业。组件的编排方式取决于您的部署(local、flink cluster、yarn、mesos等)。
监控处理的最佳工具是端口8081处的flink web ui。默认情况下,它提供了不同的调试和监控指标(例如监控检查点或背压)。