为什么消费者redpanda/Kafka已经有数据了?

sg2wtvxw  于 2023-10-15  发布在  Apache
关注(0)|答案(1)|浏览(122)

我有两个Redpanda(Redpanda就像Kafka)。数据源输入到制作者Redpanda。如果我查询生产者RP,我可以看到数据,但是如果我在端口9093查询消费者RP,它也已经有数据了。为什么?它们看起来像一个集群。我只想让他们作为独立的实体。

# cleanup
rm -rf /tmp/redpanda
mkdir /tmp/redpanda
rm -rf /tmp/redpanda2
mkdir /tmp/redpanda2

# start producer redpanda
docker run --rm -v /tmp/redpanda:/var/lib/redpanda/data -p 8081:8081 -p 8082:8082 -p 9092:9092 -p 9644:9644  docker.vectorized.io/vectorized/redpanda:latest redpanda start --smp 1 --reserve-memory 0M --memory 4G --overprovisioned --node-id 0 --check=false

# start consumer redpanda
docker run --rm -v /tmp/redpanda2:/var/lib/redpanda/data -p 8083:8081 -p 8084:8082 -p 9093:9092 -p 9645:9644 docker.vectorized.io/vectorized/redpanda:latest redpanda start --smp 1 --reserve-memory 0M --memory 4G --overprovisioned --node-id 1 --check=false

# datagen metrics. Send to producer redpanda
docker run  --network host some-data-gen:latest /bin/sh -c "/datagen --brokers host.docker.internal:9092"

# Events coming in at producer redpanda 
rpk --brokers localhost:9092 topic consume tcp_metrics --offset end

# already get events here 
rpk --brokers localhost:9093 topic consume tcp_metrics --offset end

编辑

如果我没有运行rpk --brokers localhost:9093 topic consume tcp_metrics --offset end,我检查了第二个redpanda的卷,我没有看到任何数据。rpk topic consume是否检查主题是否存在或使其使用它?我以为这就像SELECT * FROM topic;一样

62lalag4

62lalag41#

在不同的Docker网络中启动两个容器后,你能尝试同样的方法吗?
如果运行rpk --brokers localhost:9093 cluster metadata -b -c -trpk --brokers localhost:9092 cluster metadata -b -c -t,如果它们是两个独立的集群,则应该得到不同的结果。

相关问题