准本条件

操作系统

ZK包含了很多组件，有些组件支持很多系统，而有些只支持部分。组件如下：

  • Client： Java客户端库，用于连接ZK。
  • Server： Java服务端运行在ZK集群节点。
  • Native Client：C实现的客户端，类似于Java客户端，应用程序连接ZK。
  • Contrib：可选择的插件组件。
操作系统 Client Server Native Client Contrib
GNU/Linux 支持 支持 支持 支持
Solaris 支持 支持 不支持 不支持
FreeBSD 支持 支持 不支持 不支持
Windows 支持 支持 不支持 不支持
Mac OS X 仅支持开发 仅支持开发 不支持 不支持

需要说明的是支持指的是开发和生产环境。从上面的表可以看出，需要根据需求选择合适的操作系统，以便使用ZK。

软件要求

ZK是使用Java语言编写，所以操作系统需要安装Java环境，JDK版本必须是1.6以上。若是采用zk集群方式，至少需要3个节点，最好运行在不同的机器上。

安装ZK

下载zookeeper-3.4.12.tar.gz，然后解压到你喜欢的目录下即可。

单机模式与集群模式

ZK支持单机模式也支持集群模式，还有伪集群模式（一种退化的集群模式）。

配置文件

在conf目录下面，拷贝一份 zoo_sample.cfg,然后把名字改为 zoo.cfg。下面是一个简单的配置项：

1
2
3
4
5
6
7
8
9
tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk/data
dataLogDir=../../../tmp/zk/log
clientPort=2181
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP2:2888:3888

注意：将IPi修改为服务器1，在单机模式中无须配置；

参数说明：

  • tickTime：Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。
  • initLimit:用来配置Zookeeper接受客户端(ZK服务集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数；时间长度：initLimit*tickTime。
  • syncLimit:Leader与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，syncLimit*tickTime
  • dataDir：Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
  • dataLogDir:zk保存日志的地方。
  • clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
  • server.A=B：C：D：其中 A 是一个数字（1~255），表示这个是第几号服务器，；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

需要在dataDir目录下创建myid文件，里面的内容为A，注意每台机器需要一一对应

脚本说明

在 ZooKeeper的bin目录下的脚本内容：

脚本 说明
zkCleanup 清理ZooKeeper历史数据，包括事务日志文件和快照数据文件
zkCli ZooKeeper的一个简易客户端
zkEnv 设置ZooKeeper的环境变量
zkServer ZooKeeper服务器的启动、停止和重启脚本

单机模式

配置zoo.cfg

单机模式只适合在开发模式，在conf/zoo.cfg配置如下内容：

1
2
3
4
tickTime=2000
dataDir=../../../tmp/zk/data
dataLogDir=../../../tmp/zk/log
clientPort=2181

启动服务

进入到bin目录，执行脚本:zkServer.sh(linux) 或 zkServer.cmd（win）。

检测

  1. 使用 netstat -ano 命令

启动服务之后，使用netstat -ano查看，比如在win中的命令：netstat -ano | findstr 2181;在linux下使用：netstat -nao | grep 2181

  1. 使用 telnet 127.0.0.1 2181, 输入 stat：
1
2
3
4
5
6
7
8
9
10
11
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:/127.0.0.1:56800[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x23
Mode: standalone
Node count: 11

注意： Mode: standalone，表示单机模式。

集群模式

我们在一台机器上构建3个节点的伪集群模式。真正的集群模式与之类似，只是在配置项中有少许不同。构建三个节点：

1
2
3
zookeeper-1
zookeeper-2
zookeeper-3

配置zoo.cfg

在zookeeper-1的conf/zoo.cfg：

1
2
3
4
5
6
7
8
9
10
tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk1/data

dataLogDir=../../../tmp/zk1/log
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-2的conf/zoo.cfg：

1
2
3
4
5
6
7
8
9
10
tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk2/data

dataLogDir=../../../tmp/zk2/log
clientPort=2182
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-3的conf/zoo.cfg：

1
2
3
4
5
6
7
8
9
10
tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk3/data

dataLogDir=../../../tmp/zk3/log
clientPort=2183
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

从上面的配置可以看出，由于在同一台机器上，所以需要配置不同的clientPort, 每个server中的端口配置不同。若是在不同的机器上，clientPort配置一样，每个server中配置的IP不同，但后面两个端口一样，也就是说不同机器构建集群的话，三份配置文件是一样的。

在dataDir目录下新建myid文件，文件内容是server.x中的x，此示例中分别为1,2,3。

启动服务

分别进入：zookeeper-x\bin，执行zkServer脚本，启动服务。

检查是否启动成功

  1. 使用 netstat 命令： netstat -ano | findstr 218[1,2,3]

    1
    2
    3
    4
    5
    6
    TCP    0.0.0.0:2181           0.0.0.0:0              LISTENING       8520
    TCP    0.0.0.0:2182           0.0.0.0:0              LISTENING       9212
    TCP    0.0.0.0:2183           0.0.0.0:0              LISTENING       8736
    TCP    [::]:2181              [::]:0                 LISTENING       8520
    TCP    [::]:2182              [::]:0                 LISTENING       9212
    TCP    [::]:2183              [::]:0                 LISTENING       8736

  2. 使用telnet

    • telnet 127.0.0.1 2181, 然后输入 stat
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
    Clients: /127.0.0.1:58669[0](queued=0,recved=1,sent=0)
    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0x300000002
    Mode: follower
    Node count: 13
    • telnet 127.0.0.1 2182, 然后输入 stat
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
    Clients:/127.0.0.1:58691[0](queued=0,recved=1,sent=0)

    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0xb00000000
    Mode: leader
    Node count: 13
    • telnet 127.0.0.1 2183, 然后输入 stat
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on
    03/27/2018 03:55 GMT
    Clients:
    /127.0.0.1:58706[0](queued=0,recved=1,sent=0)

    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0x
    300000002
    Mode: follower
    Node count: 13

构建集群结构

从Mode来看，可以看出构建的集群结构是：

                        node2 --- leader
                        /   \
                        /     \
      Follower --- Node1    Node3 --- Follower

zk基于层次型的目录树数据结构，并对树中的节点进行有效管理，为此提供了一套很好的分布式集群管理的机制。

客户端玩zk

  1. 连接server：zkCli.cmd -server 127.0.0.1:2181

  2. 创建节点

    • 查看节点
    1
    2
    [zk: 127.0.0.1:2181(CONNECTED) 2] ls /
    [dubbo, zookeeper, app2, app1, app3]
    • 创建节点

    创建一个节点zk_test，关联到的数据是 my_data

    1
    2
    3
    4
    [zk: 127.0.0.1:2181(CONNECTED) 3] create /zk_test my_data
    Created /zk_test
    [zk: 127.0.0.1:2181(CONNECTED) 4] ls /
    [dubbo, zookeeper, app2, app1, app3, zk_test]
    • 查看节点信息
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    [zk: 127.0.0.1:2181(CONNECTED) 5] get /zk_test
    my_data
    cZxid = 0xb00000002
    ctime = Tue Mar 19 19:20:00 CST 2019
    mZxid = 0xb00000002
    mtime = Tue Mar 19 19:20:00 CST 2019
    pZxid = 0xb00000002
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 0
    [zk: 127.0.0.1:2181(CONNECTED) 6]
    • 更新节点信息
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    [zk: 127.0.0.1:2181(CONNECTED) 6] set /zk_test junk
    cZxid = 0xb00000002
    ctime = Tue Mar 19 19:20:00 CST 2019
    mZxid = 0xb00000003
    mtime = Tue Mar 19 19:57:15 CST 2019
    pZxid = 0xb00000002
    cversion = 0
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 0
    • 删除节点
    1
    2
    3
    4
    [zk: 127.0.0.1:2181(CONNECTED) 7] delete /zk_test
    [zk: 127.0.0.1:2181(CONNECTED) 8] ls /
    [dubbo, zookeeper, app2, app1, app3]
    [zk: 127.0.0.1:2181(CONNECTED) 9]

    • 注意删除非空节点报：Node not empty: xxx

      • 创建节点
      1
      2
      [zk: 127.0.0.1:2181(CONNECTED) 11] create /zk_test my_test
      Created /zk_test
      • 创建子节点
      1
      2
      3
      4
      5
      6
      7
      8
      [zk: 127.0.0.1:2181(CONNECTED) 12] ls /
      [dubbo, zookeeper, app2, app1, app3, zk_test]
      [zk: 127.0.0.1:2181(CONNECTED) 13] create /zk_test/child junk
      Created /zk_test/child
      [zk: 127.0.0.1:2181(CONNECTED) 14] ls /
      [dubbo, zookeeper, app2, app1, app3, zk_test]
      [zk: 127.0.0.1:2181(CONNECTED) 15] ls /zk_test
      [child]
      • 查看节点信息
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      [zk: 127.0.0.1:2181(CONNECTED) 16] get /zk_test
      my_test
      cZxid = 0xb00000005
      ctime = Tue Mar 19 20:20:45 CST 2019
      mZxid = 0xb00000005
      mtime = Tue Mar 19 20:20:45 CST 2019
      pZxid = 0xb00000006
      cversion = 1
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x0
      dataLength = 7
      numChildren = 1
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      [zk: 127.0.0.1:2181(CONNECTED) 17] get /zk_test/child
      junk
      cZxid = 0xb00000006
      ctime = Tue Mar 19 20:21:05 CST 2019
      mZxid = 0xb00000006
      mtime = Tue Mar 19 20:21:05 CST 2019
      pZxid = 0xb00000006
      cversion = 0
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x0
      dataLength = 4
      numChildren = 0
      • 删除非空节点
      1
      2
      3
      [zk: 127.0.0.1:2181(CONNECTED) 18] delete /zk_test
      Node not empty: /zk_test
      [zk: 127.0.0.1:2181(CONNECTED) 19]

参考资料

  1. ZooKeeper Getting Started Guide
  2. 系统支持
  3. zookeeper-3.4.12.tar.gz
  4. 分布式服务框架 Zookeeper – 管理分布式环境中的数据
  5. zookeeper复制模式