apachebeam管道在读取消息时不在pubsub上发送ack

tv6aics1  于 2021-06-21  发布在  Flink
关注(0)|答案(0)|浏览(300)

我有一个使用pubsubio读取消息的管道,这个管道发布了很多消息,但不幸的是我没有得到确认。这是读取消息的代码

  1. public CampaignMetricStream() {
  2. super(Options.class);
  3. }
  4. @Override
  5. public PCollection<String> source(Pipeline pipeline, Options options) {
  6. return pipeline.apply("pubsub-pull-events", PubsubIO
  7. .readStrings()
  8. .fromSubscription(options.getSubscription()));
  9. }

我很确定这不是代码中的问题,而是配置中的问题。
flink配置在k8s集群上

  1. taskmanager.numberOfTaskSlots: 64
  2. taskmanager.memory.managed.size: 0
  3. jobmanager.memory.process.size: 1g
  4. taskmanager.memory.process.size: 50g
  5. parallelism.default: 2
  6. state.backend: filesystem
  7. state.checkpoints.dir: file:///data/flink/checkpoints
  8. taskmanager.memory.jvm-metaspace.size: 4g

管道的部署参数如下:

  1. --runner=FlinkRunner
  2. --flinkMaster=localhost:8081
  3. --checkpointingInterval=30000
  4. --parallelism=20
  5. --numConcurrentCheckpoints=200
  6. --autoBalanceWriteFilesShardingEnabled=true

我有很多未送达的信息,我找不到解决办法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题