大数据（九）ZooKeeper

2019-12-15 阅读量

× 文章目录

1. Quick Guide

ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

本文章主要介绍在centos环境下如何安装 ZooKeeper。

Quick Guide

zookeeper=文件系统+监听通知机制

1.文件系统

每个子目录项如 NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode或者在一个znode下增加和删除子znode，唯一的不同在于znode是可以存储数据的。

2.监听通知机制

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端。

假设我们的程序是分布式部署在多台机器上，如果我们要改变程序的配置文件，需要逐台机器去修改，非常麻烦，现在把这些配置全部放到zookeeper上去，保存在 zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 zookeeper 的通知，然后从 zookeeper 获取新的配置信息应用到系统中。

单机安装

1.配置JAVA环境，检验环境：java -version
2.下载并解压zookeeper

1
2
3

cd /hadoop/software
wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/install

3.重命名配置文件zoo_sample.cfg

1 2	cd /hadoop/install/zookeeper-3.4.12 cp conf/zoo_sample.cfg conf/zoo.cfg

4.启动zookeeper

1	bin/zkServer.sh start

5.测是否成功启动，用zookeeper客户端连接下服务端

1	bin/zkCli.sh

命令

1.基本命令

# 启动ZK服务:       
sh bin/zkServer.sh start

# 查看ZK服务状态: 
sh bin/zkServer.sh status

# 停止ZK服务:       
sh bin/zkServer.sh stop

# 重启ZK服务:       
sh bin/zkServer.sh restart

2.使用客户端命令操作zookeeper

# 查看当前 ZooKeeper 中所包含的内容
ls
# 创建一个新的 znode
create /zkPro myData
# 获取节点数据和更新信息
get /zkPro
# 对 zk 所关联的字符串进行设置
set /zkPro myData123
# 将刚才创建的 znode 删除
delete /zkPro

集群模式安装

1.配置JAVA环境，检验环境：java -version
2.下载并解压zookeeper

1
2
3

cd /hadoop/software
wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/install

3.重命名配置文件zoo_sample.cfg,并创建目录 zkdatas

1
2
3

cd /hadoop/install/zookeeper-3.4.12
cp conf/zoo_sample.cfg conf/zoo.cfg
mkdir zkdatas

4.修改配置文件zoo.cfg，原配置文件里有的，修改成下面的值，没有的则加上

vim conf/zoo.cfg
dataDir=/hadoop/install/zookeeper-3.4.12/zkdatas
clientPort=2181
server.1=master:2887:3887
server.2=node1:2888:3888
server.3=node2:2889:3889
server.4=node3:2890:3890

配置说明

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 5*2000=10秒
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

5.标识Server ID:在目录中创建文件myid 文件，写入当前实例的server id，即1

1
2
3

cd /hadoop/install/zookeeper-3.4.12/zkdatas
vim myid
1

1
2
3

scp /hadoop/install/zookeeper-3.4.12 node01:$PWD
scp /hadoop/install/zookeeper-3.4.12 node02:$PWD
scp /hadoop/install/zookeeper-3.4.12 node03:$PWD

7.修改其他节点的server id为其他数字

# 节点1
vim myid
2

# 节点2
vim myid
3

# 节点3
vim myid
4

8.检测集群状态，也可以直接用命令“zkCli.sh -server IP:PORT”连接zookeeper服务端检测