列出所有Kafka主题

wh6knrhe  于 2021-06-08  发布在  Kafka
关注(0)|答案(15)|浏览(428)

我用的是Kafka0.10,没有zookeeper。我想得到Kafka的主题列表。此命令不起作用,因为我们没有使用zookeeper: bin/kafka-topics.sh --list --zookeeper localhost:2181 . 没有zookeeper,如何获得相同的输出?

zlhcx6iw

zlhcx6iw1#

Kafka使用zookeeper,所以如果你还没有zookeeper服务器,你需要先启动它。
如果您不想安装并拥有一个单独的zookeeper服务器,可以使用kafka打包的方便脚本来获得一个快速而脏的单节点zookeeper示例。
启动单节点zookeeper示例:

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka服务器:

bin/kafka-server-start.sh config/server.properties

列出Kafka的可用主题:

bin/kafka-topics.sh --list --zookeeper localhost:2181
i2byvkas

i2byvkas2#

Kafka2.2及以上
较新版本的kafka不再需要zookeeper连接字符串来列出主题,而是可以直接通过kafka代理。 kafka-topics.shbin/ 下载Kafka时的文件夹。要列出主题,请执行以下操作:

bin/kafka-topics.sh --list --bootstrap-server <BROKER-LIST>
sshcrbum

sshcrbum3#

要阅读邮件,您应该使用:

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic messages --from-beginning
``` `--bootstrap-server` 是必需属性。您只能使用单个 `kafka1:9020` 节点。
neekobn8

neekobn84#

Kafka是一个分布式系统,需要管理员。你也得启动zookeeper。请点击此处“快速入门”:https://kafka.apache.org/0100/documentation.html#quickstart

hrirmatl

hrirmatl5#

运行Kafka需要Zookeeper。Zookeeper是必须的。不过,如果你想看到没有zookeeper主题列表,那么你需要Kafka监控工具,如Kafka监控工具,Kafka管理器等。

gojuced7

gojuced76#

你需要先启动zookeeper服务器。所以先去kafka/bin/windows跑吧

zookeeper-server-start.bat ../../config/zookeeper.properties

然后在同一个文件夹中使用新的cmd windows启动kafka服务器

kafka-server-start.bat ../../config/server.properties

注意:如果您是第一次启动它,那么这些文件中会有某些更改
然后在Kafka/bin/windows中运行

kafka-topics.bat --zookeeper localhost:2181 --list

列出所有现有的主题。

x7rlezfr

x7rlezfr7#

Kafka客户端不再需要zookeeper,但Kafka服务器确实需要它来运行。
您可以使用新的adminclientapi获得主题列表,但kafka附带的shell命令尚未重写以使用此新api。
使用kafka而不使用zookeeper的另一种方法是使用saas-kafka-as-a-service提供程序,例如confluent cloud,这样您就不会看到或操作kafka代理(以及所需的后端zookeeper集合)。
例如,在confluent cloud上,您只需使用以下zookeeper free cli命令:

ccloud topic list
6fe3ivhb

6fe3ivhb8#

请使用 kafka-topics.sh --list --bootstrap-server localhost:9092 列出所有主题

ijnw1ujt

ijnw1ujt9#

Kafka/Zookeeper

docker ps

找到你的容器id

docker exec -it <id> bash

cd bin

./zkCli.sh

ls /brokers/topics
qaxu7uf2

qaxu7uf210#

使用confluent的rest代理api:

curl -X GET -H "Accept: application/vnd.kafka.v2+json" localhost:8082/topics

哪里 localhost:8082 是Kafka的代理地址。

njthzxwz

njthzxwz11#

您有一个过时版本的包,其中的命令不再接受zookeeper,而是接受bootstrap server作为连接。汇合将与Zookeeper内部连接。
https://www.confluent.io/download/ (5.3或更高)

zdwk9cvp

zdwk9cvp12#

您可以尝试使用下面两个命令列出所有Kafka主题
bin/kafka-topics.sh—描述—zookeeper 192.168.0.142:2181192.168.9.115:2181192.168.4.57:2181
bin/kafka-topics.sh--zookeeper 192.168.0.142:2181192.168.9.115:2181192.168.4.57:218--列表

kxkpmulp

kxkpmulp13#

命令:
要开始Kafka:
$nohup~/kafka/bin/kafka-server-start.sh~/kafka/config/server.properties>~/kafka/kafka.log 2>&1&
列出所有关于Kafka的主题;
$bin/kafka-topics.sh—列表—zookeeperlocalhost:2181
查看Kafka主题的数据并打印出来;
$bin/kafka-console-consumer.sh—引导服务器localhost:9092 --topic 你的主题名称--从一开始

pxiryf3j

pxiryf3j14#

kafka需要zookeeper,而且主题列表确实存储在那里,因此kafka主题工具也需要连接到zookeeper。新版本中的kafka客户机api不再直接与zookeeper对话,也许这就是为什么你觉得没有zookeeper的设置是可能的。事实并非如此,因为Kafka在内部依赖它。参考请参见:http://kafka.apache.org/documentation.html#quickstart 第二步:
Kafka使用zookeeper,所以如果你还没有zookeeper服务器,你需要先启动它

kx1ctssn

kx1ctssn15#

要在运行list topic命令时查看该主题,请执行以下操作: $ bin/kafka-topics.sh --list --zookeeper localhost:2181 要检查数据是否在Kafka着陆: $ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic twitterstream --from-beginning

相关问题