来自kafka的flink源算子的流dafa是非均匀的

r7xajy2e  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(224)

Kafka的一个主题有9个分区。我的flink工作需要使用这个主题来执行etl,并将数据转移到另一个主题。所以我的flink作业并行的源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是,来自Kafka的flink源算子的dafa是非均匀的。
源运算符代码:

env.addSource(new FlinkKafkaConsumer09<byte[]>(topic, new DeserializationSchema<byte[]>() {
    @Override
    public byte[] deserialize(byte[] bytes) throws IOException {
        return bytes;
    }

    @Override
    public boolean isEndOfStream(byte[] bytes) {
        return false;
    }

    @Override
    public TypeInformation<byte[]> getProducedType() {
        return PrimitiveArrayTypeInfo.BYTE_PRIMITIVE_ARRAY_TYPE_INFO;
    }
}, props)).setParallelism(9);

我附上下面的显示器截图:在这里输入图像描述
我可以做些什么来增强这个缺陷?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题