Kafka的一个主题有9个分区。我的flink工作需要使用这个主题来执行etl,并将数据转移到另一个主题。所以我的flink作业并行的源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是,来自Kafka的flink源算子的dafa是非均匀的。
源运算符代码:
env.addSource(new FlinkKafkaConsumer09<byte[]>(topic, new DeserializationSchema<byte[]>() {
@Override
public byte[] deserialize(byte[] bytes) throws IOException {
return bytes;
}
@Override
public boolean isEndOfStream(byte[] bytes) {
return false;
}
@Override
public TypeInformation<byte[]> getProducedType() {
return PrimitiveArrayTypeInfo.BYTE_PRIMITIVE_ARRAY_TYPE_INFO;
}
}, props)).setParallelism(9);
我附上下面的显示器截图:在这里输入图像描述
我可以做些什么来增强这个缺陷?
暂无答案!
目前还没有任何答案,快来回答吧!