第 2 章 Kafka 快速入门 

下载安装kafka集群

1.需要jdk

2.需要zookeeper，这个东西在最新版的Kafka中内置。

3.下载Kafka安装包 （下载官网地址：http://kafka.apache.org/downloads.html）

一，下载Kafka安装包

二，Kafka安装包上传linux

这里我选择了最新版本下载，然后上传到centos7下，这里我使用xftp5这个工具上传到usr/local/software目录下（这里我上台机器都上传了，为了后面搭建集群使用）

上传已经ok，那我们使用xshell工具链接到字节的虚拟机centos7

首先进入到/usr/local/software这个目录

我们已经看见kafka的这个tar包

三，接下来我们需要解压这个tar包

1）使用这个命令解压这里我的解压目录是 /usr/local/hadoop/kafka/       tar -zxvf kafka_2.12-2.4.1.tgz -C /usr/local/hadoop/kafka/

2）修改解压后的文件名称 

  这里我没有修改目录名字              可以修改   mv kafka_2.12-2.4.1/ kafka   我不改的原因是这样看起来直观知道用的那个版本的

3）在/usr/local/hadoop/kafka/kafka_2.12-2.4.1/  目录下创建 logs 文件夹 

4）修改配置文件 

#broker 的全局唯一编号，不能重复 broker.id=0 
#删除 topic 功能使能 delete.topic.enable=true 
#处理网络请求的线程数量 num.network.threads=3 
#用来处理磁盘 IO 的现成数量 num.io.threads=8 
#发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 
#接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 
#请求套接字的缓冲区大小 socket.request.max.bytes=104857600 
#kafka 运行日志存放的路径 log.dirs=/usr/local/hadoop/kafka/kafka_2.12-2.4.1/logs 
#topic 在当前 broker 上的分区个数 num.partitions=1 
#用来恢复和清理 data 下数据的线程数量 num.recovery.threads.per.data.dir=1 
#segment 文件保留的最长时间，超时将被删除 log.retention.hours=168 
#配置连接 Zookeeper 集群地址 zookeeper.connect=backup01:2181,backup02:2181,backup03:2181

注意新版本是kafka是内置zookeeper  我们可以看见这个zookeeper.properties这个配置文件

注意：这里根据你的需要选择是内置zookeeper还是自己安装的zookeeper，我使用的是自己安装的zookeeper。

四，环境变量的配置    vim /etc/profile

[root@backup01 java]# source /etc/profile

五，将配置好的zookeeper分发到集群的所有机器

经过上面的四个步骤kafka已经配置完毕，然后将其依次拷贝的集群的其他机器中。快捷一点可以使用 scp 命令来做这件事：

scp 本地zookeeper安装目录 登陆远程机器的用户名@远程机器地址 : 远程机器存放kafka的地址

eg:scp -r kafka skyler@slave1:/usr/local/hadoop/

六，不知道大家有没有关注到前面说过的  server.properties

#broker 的全局唯一编号，不能重复 broker.id=0

所以我们需要修改集群下的这个全局唯一编号  broker.id（注意这个id只能是Interger类型）

将集群backup02  backup03机器侠的kafkabroker.id分别改为1和2

cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/config
vim server.properties

到这里基本搭建完成

启动zk zk的集群安装和启动参考这篇博客

启动kafka集群  

依次在 backup01、backup02、backup03 节点上启动 kafka 
cd /usr/local/hadoop/kafka/kafka_2.12-2.4.1/
[root@backup01 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
[root@backup02 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
[root@backup03 kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties

启动报内存不足解决办法