flink 1.8,parallelism>1,source从不输出值

tkqqtvp1  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(335)

我有一个集群:
1名任务经理
1个独立工作/工作经理
配置: taskmanager.numberOfTaskSlots: 1 如果我设置 default.parallelism: 4 在使用flink pubsub源的作业中,我在启动“job cluster”/taskmanager时不断遇到以下错误:
[analytics-job-cluster-7bd4586ccb-s5hmp job]2019-05-01 16:22:30888 info org.apache.flink.runtime.checkpoint.checkpoint.checkpointcoordinator-检查点触发任务源:作业00000000的自定义源->进程->时间戳/水印->应用程序事件(1/4)未处于运行状态,而是已安排。正在中止检查点。
但是,如果我将同一个作业指向一堆文件,它将非常有效。这是什么意思?

f45qwnt8

f45qwnt81#

所以,问题是你需要 numberOfTaskSlots 基本上等于你的平行度。因此,在这种情况下,如果只有1个taskmanager和1个taskslot,flink将无法正确启动作业,因为没有足够的插槽供其使用。如果你设置 numberOfTaskSlots 如果给定的taskmanager等于并行度,那么它应该可以很好地工作。

相关问题