我有一个集群:
1名任务经理
1个独立工作/工作经理
配置: taskmanager.numberOfTaskSlots: 1
如果我设置 default.parallelism: 4
在使用flink pubsub源的作业中,我在启动“job cluster”/taskmanager时不断遇到以下错误:
[analytics-job-cluster-7bd4586ccb-s5hmp job]2019-05-01 16:22:30888 info org.apache.flink.runtime.checkpoint.checkpoint.checkpointcoordinator-检查点触发任务源:作业00000000的自定义源->进程->时间戳/水印->应用程序事件(1/4)未处于运行状态,而是已安排。正在中止检查点。
但是,如果我将同一个作业指向一堆文件,它将非常有效。这是什么意思?
1条答案
按热度按时间f45qwnt81#
所以,问题是你需要
numberOfTaskSlots
基本上等于你的平行度。因此,在这种情况下,如果只有1个taskmanager和1个taskslot,flink将无法正确启动作业,因为没有足够的插槽供其使用。如果你设置numberOfTaskSlots
如果给定的taskmanager等于并行度,那么它应该可以很好地工作。