在Debian上配置Kafka的高可用性涉及多个步骤，包括安装和配置Zookeeper、Kafka Broker，以及设置集群参数。以下是详细的配置步骤：
首先，确保在Debian上安装Zookeeper，因为Kafka依赖于Zookeeper来进行集群协调。
sudo apt update
sudo apt install zookeeper
编辑Zookeeper的配置文件 /etc/zookeeper/conf/zoo.cfg，确保以下配置正确：
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888
在每个Zookeeper节点上启动Zookeeper：
bin/zkServer.sh start
检查每个节点的状态：
bin/zkServer.sh status
在每台Debian服务器上安装Kafka。可以使用以下命令：
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2
编辑Kafka的配置文件 config/server.properties，确保以下配置正确：
broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://your_server_ip:9092
zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
num.network.threads=3
num.io.threads=8
num.partitions=3
default.replication.factor=3
min.insync.replicas=2
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.segment.bytes=1073741824
log.retention.hours=168
log.retention.check.interval.ms=300000
使用以下命令创建一个Kafka主题，并设置 min.insync.replicas 为2：
bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --min-insync-replicas 2
启动Zookeeper服务：
sudo systemctl start zookeeper
sudo systemctl enable zookeeper
启动Kafka服务：
sudo systemctl start kafka
sudo systemctl enable kafka
监控Kafka集群状态：
sudo kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-topic
模拟节点故障：停止一个Kafka broker，并验证系统是否能够自动切换到其他副本，保证服务的高可用性。
在客户端应用程序中，配置连接到多个Kafka broker，以确保在部分broker故障时仍能正常工作。例如，使用Kafka客户端库连接到多个broker：
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);