Kafka在哪里存储zookeeper上的元数据哪条路?)

iqxoj9l9  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(537)

我们有3个zookeeper服务器和3台kafka机器的ambari集群
hadoop版本(hdp-2.6.4)
Kafka在哪里存储zookeeper上的元数据哪条路?)
我不确定,但也许这里的数据存储?

ls -ltr /data/var/hadoop/zookeeper/version-2
total 5859168
-rw-r--r-- 1 zookeeper hadoop 199306787 Jan 27 00:02 snapshot.4a00023317
-rw-r--r-- 1 zookeeper hadoop 199274273 Jan 27 00:03 snapshot.4a0002332b
-rw-r--r-- 1 zookeeper hadoop 199278370 Jan 27 00:05 snapshot.4a00023349
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:01 snapshot.4a0002ade3
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:03 snapshot.4a0002adf6
-rw-r--r-- 1 zookeeper hadoop 188207547 Jan 31 00:00 snapshot.4a00033393
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 17 15:08 log.4b0001e57a
-rw-r--r-- 1 zookeeper hadoop 189085214 Feb 17 15:08 snapshot.4b00046dc8
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 19 20:56 log.4b00046dca
-rw-r--r-- 1 zookeeper hadoop 190336796 Feb 19 20:56 snapshot.4b0005659b
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 22 01:30 log.4b0005659d
-rw-r--r-- 1 zookeeper hadoop 190348010 Feb 22 01:30 snapshot.4b000643
z9gpfhce

z9gpfhce1#

这取决于哪个元数据!
默认情况下,kafka在zookeeper中使用许多路径: /brokers :这包含活动代理以及主题配置、分配和当前ISR /controller :此znode归kafka群集中的当前控制器所有 /admin :这包含删除主题请求 /config :这包含代理、配额的重写配置
名单还在继续。。。
wiki有一个关于zk数据结构的页面,但它已经过时,并且缺少很多条目:https://cwiki.apache.org/confluence/display/kafka/kafka+data+structures+in+zookeeper
另一件值得注意的事情是,默认情况下,kafka将在/下创建所有这些路径,但是您可以让kafka使用带有 zookeeper.connect . 例如,如果将其设置为 localhost:2181/some_path ,所有路径将处于 /some_path : /some_path/brokers , /some_path/controller 等等
最后zookeeper将所有这些数据保存到 log 磁盘上的文件。路径由 dataDir 正在设置 zookeeper.properties . 默认情况下,Kafka /tmp/zookeeper .

相关问题