部署zookeeper及kafka集群-摩杜云开发者社区

实现：elk架构中的zk及kakfa集群，如下图

架构：

部署zookeeper及kafka集群_zookeeper

机器组

zk1-kafka1：10.0.7.53

zk2-kafka2：10.0.7.54

zk3-kafka3：10.0.7.55

官网

https://zookeeper.apache.org

https://kafka.apahce.org

准备工作

三台主机安装依赖

https://zookeeper.apache.org/doc/r3.7.1/zookeeperAdmin.html#sc_systemReq

mkdir /apps;cd /apps
yum -y install java-1.8.0-openjdk
chmod +x /etc/rc.local

部署zookeeper

wget -c --no-check-certificate https://dlcdn.apache.org/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz
tar xf apache-zookeeper-3.8.1-bin.tar.gz

修改zookeeper配置文件

三台主机同样操作

mkdir /data/zookeeper

ln -sv /apps/apache-zookeeper-3.8.1-bin /apps/zookeeper

cd /apps/zookeeper/conf

cp zoo_sample.cfg  zoo.cfg

vim zoo.cfg

# 修改保存数据的路径
dataDir=/data/zookeeper  

# 在配置文件最后面添加此三行
server.1=10.0.7.53:2888:3888
server.2=10.0.7.54:2888:3888
server.3=10.0.7.55:2888:3888

# server代表不同主机
# 1 2 3 代表不同的ID
# =号右边第一列代表主机内网IP
# 2888代表数据同步端口
# 3888代表集群master选举端口

主机1操作
echo 1 > /data/zookeeper/myid

主机2操作
echo 2 > /data/zookeeper/myid

主机3操作
echo 3 > /data/zookeeper/myid

/apps/zookeeper/bin/zkServer.sh start
/apps/zookeeper/bin/zkServer.sh status

# leader会启动2888端口进行数据同步
# follower只会启动2181客户端口、master选举端口3888

vim /etc/rc.local
/apps/zookeeper/bin/zkServer.sh start

部署kakfa

wget -c --no-check-certificate https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz

tar xf kafka_2.13-3.4.0.tgz 

ln -sv /apps/kafka_2.13-3.4.0 /apps/kafka

vim /apps/kafka/config/server.properties 

# 节点id不能一样,id可以随意配<每台机不一样的配置>
broker.id=1  

# 监听的本机IP，写本机IP<每台机不一样的配置>
listeners=PLAINTEXT://10.0.7.53:9092 

# 数据目录
log.dirs=/data/kafka-logs 

# 保存数据72小时
log.retention.hours=72

# 连接zookeeper的IP地址
zookeeper.connect=10.0.7.53:2181,10.0.7.53:2181,10.0.7.53:2181

# 启动kafka,监听9092端口
/apps/kafka/bin/kafka-server-start.sh  -daemon /apps/kafka/config/server.properties 
 
 vim /etc/rc.local
 /apps/kafka/bin/kafka-server-start.sh  -daemon /apps/kafka/config/server.properties