我阅读Kafka使用Spark结构化流,下面是我的阅读流
val inputDf = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokers)
//.option("subscribe", topic)
.option("assign"," {\""+topic+"\":[0]}")
.option("startingOffsets", "earliest")
.option("maxOffsetsPerTrigger", 60000)
.load()
我试图在kafka中使用below kafka命令查看我的消费者组。我注意到,当我只从单个分区读取时,它不会创建任何消费者组,但当我从主题读取时(在我的例子中,主题有3个分区),它不会显式地提到分区,而是创建消费者组。这是预期的行为吗?如果是,那为什么?
./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list
暂无答案!
目前还没有任何答案,快来回答吧!