一、 ZooKeeper 概述：分布式系统的“大管家”

1.1 什么是ZooKeeper？

Apache ZooKeeper 官方定义其为“致力于开发和维护实现高度可靠的分布式协调的开源服务器”。简而言之，它是一个高可靠的分布式协调服务。其核心目标是为分布式应用提供一致性、配置管理、命名、集群管理等基础服务。正因其高度可靠，Hadoop、Kafka、HBase 等众多顶级开源项目都选择 ZooKeeper 作为其集群管理的核心依赖。

1.2 三种部署模式

根据PPT内容，ZooKeeper支持三种部署模式，以适应不同场景：

• 独立部署模式：单机部署单个服务。适用于学习和功能验证。

• 伪分布模式：单机部署多个服务实例，模拟集群。适用于开发、测试，不适用于生产。

• 全分布式模式：在多台物理机或虚拟机上部署真正的集群。这是生产环境的推荐模式，能提供高可用和容错能力。

1.3 核心角色

ZooKeeper集群由几种关键角色构成：

角色	描述
领导者 (Leader)​	负责发起和决议投票，更新系统状态。一个集群有且仅有一个活跃的Leader。
跟随者 (Follower)​	处理客户端读请求，并将写请求转发给Leader。参与Leader选举投票。
观察者 (Observer)​	与Follower类似，处理读请求并转发写请求，但不参与投票。其作用是扩展集群的读能力，不影响写性能。
客户端 (Client)​	请求的发起方，与任意Server建立会话连接。

二、 ZooKeeper 工作原理：基于Zab协议的原子广播

ZooKeeper的核心在于原子广播机制，由 Zab协议​ 实现。Zab协议有两种工作模式：

1. 恢复模式：在服务启动或Leader崩溃后进入。此阶段的主要任务是选举新的Leader，并让所有Follower与Leader完成状态同步。一旦同步完成，集群即退出恢复模式。

2. 广播模式：Leader选举完成后进入。此模式下，所有写请求（事务）由Leader协调，通过两阶段提交的方式广播给所有Follower，确保集群数据的一致性。

事务与Zxid：

• 为了保证事务的顺序一致性，ZooKeeper为每一个事务分配一个全局唯一且递增的事务ID，称为 Zxid。

• Zxid是一个64位数字，高32位是epoch（纪元，标识Leader周期），低32位是递增计数器。这确保了即使Leader更迭，事务的顺序依然全局可排序。

三、 数据一致性与Paxos算法

在分布式系统中，保持数据一致性是核心难题。PPT中引用了Paxos算法的思想（ZooKeeper的Zab协议受其启发）。

• 核心思想：通过投票机制对写操作进行全局编号，只有获得超过半数节点认可的写操作才会被批准执行。

• ZooKeeper的实践：ZooKeeper集群通常由奇数个节点组成（如3，5，7）。这是因为Paxos协议要求“多数派”达成一致。例如，一个3节点集群，最多允许1个节点挂掉（2>1.5，仍满足多数）；一个4节点集群同样最多允许挂掉1个（3>2，但容错能力与3节点相同，却多耗费一台资源）。因此，奇数个节点能在保证相同容错能力的前提下，最节省资源。

四、 ZooKeeper 数据模型与操作

4.1 数据模型：Znode

ZooKeeper的数据模型类似于一个简化版的文件系统，采用树形层级命名空间。树中的每个节点称为一个 Znode。

每个Znode包含三部分信息：

• stat：元数据，如版本号、权限、时间戳。

• data：与该节点关联的数据（通常很小，<1MB）。

• children：该节点的子节点列表。

4.2 节点类型

• 持久节点：一旦创建，除非显式删除，否则一直存在。

• 临时节点：与客户端会话绑定。会话结束（客户端断开或超时），节点自动删除。临时节点不能有子节点。常用于实现服务注册与发现。

• 顺序节点：创建时，ZooKeeper会在节点名后附加一个单调递增的序号。顺序号对于创建全局唯一的路径名或实现公平锁至关重要。

• 上述类型可组合，如PERSISTENT_SEQUENTIAL（持久顺序节点）。

4.3 基本操作

通过zkCli.sh可以执行基本操作，PPT中给出了示例：

• 连接：bin/zkCli.sh -server host:port

• 列出子节点：ls /path

• 创建节点：create /path data

• 获取节点数据和状态：get /path

• 删除节点：delete /path(不能有子节点)；rmr /path(递归删除)

五、 ZooKeeper 关键特性

PPT中总结了ZooKeeper提供的核心服务特性，这正是ACID特性在分布式协调场景下的体现：

1. 顺序一致性：从同一客户端发起的事务请求，将严格按发送顺序被应用。

2. 原子性：事务操作在所有集群节点上的结果一致，要么全部成功，要么全部失败，无中间状态。

3. 单一视图：无论客户端连接到集群中的哪个服务器，看到的数据模型都是一致的。

4. 可靠性：一旦一个事务被提交，其引起的状态变更将被永久保存，直到被新的事务覆盖。

5. 实时性：客户端能在一定时间间隔内，感知到服务器端的最新数据状态（最终一致性）。

六、 ZooKeeper 部署实战

6.1 环境规划与前置准备

在部署前，需完成集群规划，包括：

• 主机规划：确定各节点IP、主机名（如master, slave1, slave2）。

• 软件规划：确定CentOS、JDK、ZooKeeper等组件的版本。

• 网络与系统配置：配置静态IP、主机名映射(/etc/hosts）、关闭防火墙、时钟同步(NTP)、SSH免密登录等。

6.2 ZooKeeper安装与配置

1. 下载解压：在各节点安装相同版本的ZooKeeper（如3.4.10）。

2. 配置zoo.cfg：这是核心配置文件，所有节点内容基本相同。

   tickTime=2000
   initLimit=10
   syncLimit=5
   dataDir=/var/lib/zookeeper/data
   clientPort=2181
   server.1=192.168.20.101:2888:3888
   server.2=192.168.20.102:2888:3888
   server.3=192.168.20.103:2888:3888

   • tickTime：基本时间单位（毫秒）。

   • dataDir：数据目录，用于存放内存数据库快照和事务日志。

   • server.X=...：集群服务器列表。X为服务器ID，对应myid文件。

3. 创建myid文件：在每个节点的dataDir目录下创建名为myid的文件，内容为其对应的服务器ID（如1，2，3）。这是区分不同节点的关键。

6.3 启动与验证

1. 启动服务：在每个节点执行 zkServer.sh start。

2. 查看状态：执行 zkServer.sh status。输出会显示该节点的角色是 Leader​ 还是 Follower。这是判断集群是否正常工作的最直接方式。

3. 客户端连接测试：使用 zkCli.sh -server ip:port连接集群，执行ls /、create、get等命令，验证读写功能。

七、 总结

ZooKeeper 通过其简洁的树形数据模型、高效的原子广播协议（Zab）和丰富的节点类型，为分布式系统提供了不可或缺的协调原语。它不仅是Hadoop生态的基石，也广泛服务于分布式锁、配置中心、服务发现、领导者选举等场景。理解其CP（一致性与分区容错性）的设计取舍，掌握其奇数节点集群部署的最佳实践，是每一位大数据和分布式系统开发运维人员的必备技能。