docker
- 先使用Docker构建一个Zookeeper运行环境的镜像,之前做过Hadoop的集群，我做过一个镜像（这里）
- 然后使用这个镜像分别启动3个容器：1个Master节点，两个Slave节点
- 在Master节点上配置Slave节点信息
- 在Master上启动Zookeeper
Zookeeper安装
我使用的是zookeeper-3.4.11，其他版本请看这里
cd /usr/local/hadoop
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gztar -zxvf zookeeper-3.4.11.tar.gz进入zookeeper创建data目录,该目录很重要，将要存放zookeeper的id号
cd zookeeper-3.4.11
mkdir data进入conf 复制zoo.cfg
mv zoo_sample.cfg zoo.cfg
vi conf/zoo.cfg添加server.x和修改dataDir
dataDir=/usr/local/hadoop/zookeeper-3.4.11/data
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888- tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
- dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
- clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
- initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒 - server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号
分别在data文件夹下面创建一个文件，叫myid vi myid
#比如我配置的三个server，当前服务器的ip是多少，myid里面写的X就是server.X=ip:2888:3888 中ip所对应的X
Zookeeper环境变量
新增配置 vi ~/.bashrc
# Zookeeper
export ZOOKEEPER_HOME=/usr/local/hadoop/zookeeper-3.4.11
export PATH=$ZOOKEEPER_HOME/bin:$PATH生效配置 source ~/.bashrc
提交docker镜像
docker commit -m "hadoop zookeeper install" e64fb97e94d1 linux:hadoopZookeeper
重点来了
前面已经将Hadoop的镜像构建好了，下面就是使用这个镜像搭建Master节点和Slave节点了：
前面已经将Hadoop的镜像构建好了，下面就是使用这个镜像搭建Master节点和Slave节点了：
节点 |
hostname |
ip |
用途 |
Docker启动脚本 |
Master |
master |
10.0.0.2 |
follower or leader |
docker run -p 50070:50070 -p 19888:19888 -p 8088:8088 -p 2181:2181 --name master -ti -h master linux:hadoop |
Slave |
slave1 |
10.0.0.3 |
follower or leader
|
docker run -it -h slave1 --name slave1 linux:hadoop /bin/bash |
Slave |
slave2 |
10.0.0.4 |
follower or leader
|
docker run -it -h slave2 --name slave2 linux:hadoop /bin/bash |
这里有几个问题：
- Docker容器中的ip地址是启动之后自动分配的，且不能手动更改
- hostname、hosts配置在容器内修改了，只能在本次容器生命周期内有效。如果容器退出了，重新启动，这两个配置将被还原。且这两个配置无法通过
commit命令写入镜像
配置hosts
- 通过
ifconfig命令获取各节点ip。环境不同获取的ip可能不一样，例如我本机获取的ip如下：
- master:172.17.0.2
- slave1:172.17.0.3
- slave2:172.17.0.4
- 使用
vi /etc/hosts命令将如下配置写入各节点的hosts文件，注意修改ip地址：
172.17.0.2 master
172.17.0.3 slave1
172.17.0.4 slave2- 启动sshd /usr/sbin/sshd
- 分别添加三个节点的ID,注意主机名
echo "1" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid
echo "2" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid
echo "3" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid- 在各节点启动zookeeper或集群启动
bin/zkServer.sh start
或
start-zookeeper-quorum.sh- 在任意节点执行 bin/zkCli.sh -server 127.0.0.1:2181
- 查看节点 bin/zkServer.sh status 如下
jps查看进程
查看zk的端口 netstat -apn | grep 2181
重新进入执行启动服务主机,docker ps -a 查看刚节点ID
docker exec -it be4588b7347b /bin/bash