何时/如何最终删除“标记为删除”的主题?

7jmck4yq  于 2021-06-07  发布在  Kafka
关注(0)|答案(11)|浏览(406)

我已发出删除主题的命令:

./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic  vip_ips_alerts

它似乎给出了一个愉快的回答:

[2014-05-31 20:58:10,112] INFO zookeeper state changed (SyncConnected) (org.I0Itec.zkclient.ZkClient)
Topic "vip_ips_alerts" queued for deletion.

但10分钟后的今天,这个主题仍然出现在报纸上 --list 命令:

./bin/kafka-topics.sh --zookeeper localhost:2181 --list
vip_ips_alerts - marked for deletion

那是什么意思?什么时候才能真正删除这个主题?如何加快这一进程?

qij5mzcb

qij5mzcb1#

你能做到的。
sudo./zookeeper-shell.shlocalhost:2181 rmr /经纪人/主题/你的主题

soat7uwm

soat7uwm2#

删除几乎立即发生在我身上(v0.9)。我相信你也应该这样。
标记后,将在作为主题分区领导者的kafka节点上触发删除。需要记住的是,必须正确配置主题分区的前导(就侦听器而言),否则它将不会收到删除日志的指令。
在更正服务器属性并重新启动相应节点之前,我的“标记为删除”主题一直停留在该状态。

unftdfkk

unftdfkk3#

在Kafka中,一旦主题被标记为删除,它将在60000毫秒后最终被删除。
检查属性log.segment.delete.delay.ms。
文件上说:
file.delete.delay.ms:从文件系统中删除文件之前的等待时间默认值为60000毫秒。

ssm49v7z

ssm49v7z4#

Kafka版本 0.10.0.0 设置以下内容即可启用主题删除:

delete.topic.enable

这个主题很快就被删除了

kafka-topics --delete --zookeeper your-zk:2181 --topic yourTopicName

您可以使用以下命令确认它已消失:

kafka-topics --describe --zookeeper your-zk:2181 --topic yourTopicName
rfbsl7qr

rfbsl7qr5#

我也面临着同样的问题,花了几天时间试图认同这个问题。我触发了删除主题的命令,但是这些主题被标记为删除,但没有被删除。
我首先检查了设置正确的配置。下:server.properties
delete.topic.enable=对所有代理都为true
我重新启动了代理来检查主题是否被删除(否!!)。
我没有检查/kafka/data文件夹下的数据。
我甚至考虑过等到超过保留时间的选择。
没人帮忙。我最后不得不登录zooker

./zkCli.sh # and delete the topics using 
rmr /brokers/topics/<<topic>> and rmr /admin/delete_topics/<<topic>>

请记住在这之后重启Kafka。希望这能解决你的问题。

js81xvg6

js81xvg66#

热释光;dr集合 delete.topic.enable = trueconfig/server.properties Kafka经纪人和…耐心点。
Kafka0.8.3-snapshot的最新开发版本会出现这种情况:

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ ./bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 2 --replication-factor 1
Created topic "my-topic".

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ ./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic my-topic
Topic:my-topic  PartitionCount:2    ReplicationFactor:1 Configs:
    Topic: my-topic Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    Topic: my-topic Partition: 1    Leader: 0   Replicas: 0 Isr: 0

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ ./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic my-topic
Topic my-topic is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ ./bin/kafka-topics.sh --zookeeper localhost:2181 --list
➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗

关键是要有 delete.topic.enable=trueconfig/server.properties 你用来做Kafka经纪人的。

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ grep delete.topic.enable config/server.properties
delete.topic.enable=true

您还可以确保代理日志中的设置为true:

➜  kafka_2.11-0.8.3-SNAPSHOT git:(trunk) ✗ ./bin/kafka-server-start.sh config/server.properties
[2015-07-24 22:33:26,184] INFO KafkaConfig values:
        ...
        delete.topic.enable = true
lymnna71

lymnna717#

删除主题时出现此问题。主题是在未设置delete.topic.enable=true时创建的。我们在config中设置,重新启动kafka来应用新的config。删除了主题并看到“标记为删除”。然后我们又重新启动了Kafka。40分钟后,尽管所有的主题都被删除了(9个主题的分区总数为数千个)。分区数越高的主题似乎花费的时间越长,这使得它看起来好像什么都没有发生。

ny6fqffe

ny6fqffe8#

在我使用kafka8.2.2的情况下,我不得不手动删除以下条目-
从kafka broker计算机中删除主题文件夹。
登录zookeeper并-

hbase zkcli
rmr /brokers/topics/{topic_name}
rmr /admin/delete_topics/{topic_name}
cfh9epnr

cfh9epnr9#

我的问题是类似的。我删除了一个主题,当我列出所有的主题时,它给了我同样的信息。
我搞垮了Zookeeper和经纪人。在我的代理配置文件中设置delete.topic.enable=true
主题消失了…多亏了雅克拉斯科斯基

ca1c2owp

ca1c2owp10#

在zookeeper检查主题的状态

bin\windows>kafka-topics.bat --list --zookeeper localhost:2181
Output: topic shows marked for deletion

在server.properties中设置delete.topic.enable=true也不起作用。
解决方案:检查zookeeper.properties文件中的zookeeper数据目录位置。是datadir=/tmp/zookeeper。
将“datadir”更新到新位置后,问题得到解决。

dataDir=zk-temp

# the port at which the clients will connect

clientPort=2181

# disable the per-ip limit on the number of connections since this is a non-production config

maxClientCnxns=0
byqmnocz

byqmnocz11#

正确的答案实际上如下。Kafka用户的群电子邮件通讯组列表:
弗兰çois langelier*@gmail.comüber kafka.apache.org 05:57(视频1)
删除主题不起作用
我想它会在下一个版本中提供https://issues.apache.org/jira/browse/kafka-1397

相关问题