Zookeeper在CentOS上的最佳实践有哪些

在CentOS上部署和管理Apache ZooKeeper时，遵循一些最佳实践是确保其稳定性、性能和可靠性的关键。以下是一些关键的最佳实践：

安装和配置

1. 安装Java环境：

   • ZooKeeper需要Java环境才能运行。建议在CentOS上安装OpenJDK 8或更高版本。

   sudo yum install java-1.8.0-openjdk-devel
   java -version
   

2. 下载并解压Zookeeper：

   • 从Apache Zookeeper的官方网站下载所需版本的Zookeeper压缩包，然后解压到指定目录。

   wget https://downloads.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
   tar -xzf apache-zookeeper-3.7.1-bin.tar.gz
   sudo mv apache-zookeeper-3.7.1-bin /opt/zookeeper
   

3. 配置Zookeeper：

   • 进入解压后的Zookeeper目录，复制并修改zoo_sample.cfg配置文件为zoo.cfg。

   cd /opt/zookeeper/conf
   cp zoo_sample.cfg zoo.cfg
   sudo vi zoo.cfg
   

   • 修改以下关键参数：

     dataDir=/var/lib/zookeeper/data
     dataLogDir=/var/lib/zookeeper/log
     tickTime=2000
     initLimit=10
     syncLimit=5
     clientPort=2181
     

   • 设置环境变量（可选）：

     echo 'export ZOOKEEPER_HOME=/opt/zookeeper' | sudo tee -a /etc/profile
     echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' | sudo tee -a /etc/profile
     source /etc/profile
     

4. 创建数据目录和日志目录：

   sudo mkdir -p /var/lib/zookeeper/data
   sudo mkdir -p /var/lib/zookeeper/log
   

5. 配置系统服务（推荐）：

   • 创建systemd单元文件：

     sudo vi /etc/systemd/system/zookeeper.service
     

   • 添加以下内容：

     [Unit]
     Description=Apache Zookeeper
     After=network.target
     
     [Service]
     Type=forking
     User=root
     Group=root
     ExecStart=/opt/zookeeper/bin/zkServer.sh start
     ExecStop=/opt/zookeeper/bin/zkServer.sh stop
     ExecReload=/opt/zookeeper/bin/zkServer.sh reload
     Restart=always
     
     [Install]
     WantedBy=multi-user.target
     

   • 启用并启动服务：

     sudo systemctl daemon-reloads
     sudo systemctl enable zookeeper
     sudo systemctl start zookeeper
     

6. 验证安装：

   • 使用客户端连接测试：

     /opt/zookeeper/bin/zkCli.sh -server 127.0.0.1:2181
     

   • 执行简单命令：

     [zk: 127.0.0.1:2181(CONNECTED) 0] ls /
     

性能优化

1. 服务器硬件配置建议：

   • 使用SSD硬盘：由于Zookeeper的数据写入磁盘，强烈建议使用SSD以提高I/O性能。
   • 分配足够的CPU和内存：为Zookeeper分配足够的CPU和内存资源，避免资源争用。

2. 操作系统优化：

   • 关闭交换分区功能：或通过内核参数调整，减少对交换分区的使用。例如，设置vm.swappiness参数为低值以减少交换。

3. Zookeeper配置参数优化：

   • tickTime：基本时间单位，影响心跳和超时操作。默认值为2000毫秒，根据实际需求调整。
   • initLimit：初始连接超时时间，表示Follower与Leader初始通信时限。默认值为10（tickTime单位）。
   • syncLimit：同步超时时间，表示Leader与Follower同步通信时限。默认值为5（tickTime单位）。
   • maxClientCnxns：限制每个客户端的最大连接数。
   • autopurge.snapRetainCount：自动清理快照保留的文件数，默认3。
   • autopurge.purgeInterval：自动清理任务的执行间隔，默认0（不开启）。
   • dataDir和dataLogDir：分别存放快照文件和事务日志，建议分开存储以提高性能。

4. 监控性能：

   • 定期监控Zookeeper的性能指标，如QPS、延迟等，以便及时发现并解决潜在问题。

高可用性配置

1. 配置Zookeeper集群：

   • 在每台服务器上安装Java和Zookeeper。
   • 下载并解压Zookeeper。
   • 创建数据目录和日志目录。
   • 配置zoo.cfg文件，添加服务器列表和每个节点的ID文件。
   • 启动Zookeeper服务。

2. 验证HA配置：

   • 使用zkServer.sh status命令检查每个服务器的状态，确保每个服务器都正常运行。

3. 配置防火墙：

   • 确保防火墙允许Zookeeper使用的端口（默认是2181, 2888, 3888）。

   sudo firewall-cmd --zone=public --add-port=2181/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=2888/tcp --permanent
   sudo firewall-cmd --zone=public --add-port=3888/tcp --permanent
   sudo firewall-cmd --reload
   

4. 监控和日志：

   • 配置监控和日志系统，以便及时发现和解决问题。

通过遵循这些最佳实践，您可以在CentOS上成功安装、配置、优化和管理Zookeeper，确保其在分布式系统中的可靠性和高性能。