kafka.admin.topiccommand失败

6gpjuf90  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(524)

我使用的是单节点kafka v0.10.2(16gbram,8核)和单节点zookeeper v3.4.9(4gbram,1核)。我有64个消费群和500个主题,每个主题有250个分区。我能够执行命令,只需要Kafka经纪人和其运行良好的前。
./kafka-consumer-groups.sh—引导服务器localhost:9092 --describe --组
但是当我执行像createtopic这样的管理命令时,比如altertopic
./kafka-topics.sh--create--zookeeper:2181--复制因子1--分区1--主题
显示以下异常:
执行topic命令时出错:复制因子:1大于可用代理:0[2017-11-16 11:22:13592]error org.apache.kafka.common.errors.invalidreplicationfactorexception:复制因子:1大于可用代理:0(kafka.admin.topiccommand$)
我查了一下我的经纪人的情况。在server.log中存在以下警告

[2017-11-16 11:14:26,959] WARN Client session timed out, have not heard from server in 15843ms for sessionid 0x15aa7f586e1c061 (org.apache.zookeeper.ClientCnxn)
[2017-11-16 11:14:28,795] WARN Unable to reconnect to ZooKeeper service, session 0x15aa7f586e1c061 has expired (org.apache.zookeeper.ClientCnxn)
[2017-11-16 11:21:46,055] WARN Unable to reconnect to ZooKeeper service, session 0x15aa7f586e1c067 has expired (org.apache.zookeeper.ClientCnxn)

下面提到的是我的kafka服务器配置:

broker.id=1
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/kafka/data/logs
num.partitions=1
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=<zookeeperIP>:2181
zookeeper.connection.timeout.ms=6000

zookeeper配置为:


# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/zookeeper/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

# maxClientCnxns=60

autopurge.snapRetainCount=20

# Purge task interval in hours

# Set to "0" to disable auto purge feature

autopurge.purgeInterval=48

我不知道要调整哪个配置。我所缺少的。任何帮助都将不胜感激。

juzqafwq

juzqafwq1#

当你使用zookeeper参数运行consumer时
./kafka-topics.sh--create--zookeeper:2181--复制因子1--分区1--主题
这意味着消费者会去问zookeeper有关经纪人的详细信息。如果zookeeper中提供了代理详细信息,那么它就可以连接到代理。
在你的情况下,我认为zookeeper丢失了经纪人的详细信息。zookeeper通常将所有配置存储在树路径中。
要检查zookeeper是否有代理路径,您需要使用登录zookeeper shell /bin/zkCli.sh -server localhost:2181 连接成功后做什么 ls / 您将看到这样的输出

[controller, controller_epoch, brokers, zookeeper, admin, isr_change_notification, consumers, config]

然后再做 ls /brokers 输出将是 [ids, topics, seqid] 然后再做 ls /brokers/ids 输出将是 [0] -它是一个代理id的数组。如果数组为空 [] 这意味着你的Zookeeper没有经纪人的详细信息
在这种情况下,您需要重新启动代理和zookeeper。
更新时间:
这个问题通常不会发生。因为zookeeper服务器正在自动关闭(终止)或丢失代理路径。
为了克服这一点,最好多维护两个zookeers,这意味着完成3个zookeers节点。
如果是本地使用localhost:2181, localhost:2182, localhost:2183.
如果是集群,则使用三个示例zookeeper1:2181、zookeeper2:2181、zookeeper3:2181
你最多可以容忍两次失败。
用于创建主题并使用以下命令:
./kafka-topics.sh—创建—缩放器localhost:2181,localhost:2182,localhost:2183 --replication-factor 1--分区1--主题

相关问题