Kafka在Debian上的高可用性配置

在Debian上配置Kafka的高可用性需要考虑以下几个步骤：

1. 安装和配置Zookeeper： Kafka使用Zookeeper进行集群管理和Leader选举。首先需要在Debian上安装Zookeeper。

   sudo apt-get update
   sudo apt-get install zookeeper
   

2. 安装Kafka： 下载Kafka安装包并解压。

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
   tar -xzf kafka_2.12-3.5.2.tgz
   cd kafka_2.12-3.5.2
   

3. 配置Kafka Broker： 编辑Kafka的配置文件server.properties，设置以下关键配置：

   broker.id=1
   listeners=PLAINTEXT://:9092
   log.dirs=/tmp/kafka-logs
   num.network.threads=3
   num.io.threads=8
   batch.size=16384
   log.flush.interval.messages=10000
   log.flush.interval.ms=1000
   log.segment.bytes=1073741824
   log.retention.hours=168
   log.retention.check.interval.ms=300000
   

4. 配置多个Broker： 为每个Broker实例编辑相应的server.properties文件，修改broker.id和其他唯一标识符。

5. 创建Topic： 创建Topic并指定副本数和分区数。

   bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3
   

6. 配置ISR和Leader选举： Kafka会自动管理ISR（In-Sync Replica）列表并执行Leader选举。确保min.insync.replicas配置足够高，以保证数据可靠性。

   min.insync.replicas=2
   

7. 启动Kafka和Zookeeper： 启动Zookeeper和Kafka服务。

   bin/zookeeper-server-start.sh config/zookeeper.properties
   bin/kafka-server-start.sh config/server.properties
   

8. 监控和管理： 使用Kafka提供的工具进行监控和管理，如kafka-topics.sh、kafka-consumer-groups.sh等。