Kafka的配置主要分为Broker配置（服务端）、Producer配置（生产者）、Consumer配置（消费者）三类，以下是关键参数的详细说明及设置建议：
Broker是Kafka的核心服务节点，负责存储和转发消息，其配置直接影响集群的稳定性与性能。
基础标识
broker.id：Broker的唯一标识（整数），集群内必须唯一。建议使用服务器IP最后一段（如192.168.1.100→100），避免修改后影响消费者偏移量。log.dirs：消息日志存储目录（多目录用逗号分隔，如/data/kafka-logs-1,/data/kafka-logs-2）。建议使用独立磁盘，提升IO性能。zookeeper.connect：ZooKeeper集群地址（格式：host1:port1,host2:port2）。Kafka依赖ZooKeeper管理集群元数据（如分区Leader、消费者组信息）。网络与线程
listeners：Broker监听的地址与端口（格式：PLAINTEXT://your_host:9092）。需设置为服务器可访问的IP（如公网IP或内网IP），避免localhost导致外部无法连接。advertised.listeners：客户端连接的Broker地址（格式同listeners）。若Broker在NAT后（如云服务器），需设置为公网IP或域名，确保客户端能正确访问。num.network.threads：网络线程数（默认3）。负责处理客户端请求，高负载场景可调整为CPU核心数×2。num.io.threads：IO线程数（默认8）。负责磁盘读写与消息持久化，建议设置为磁盘数量×2（如4块磁盘→8）。日志管理
log.segment.bytes：单个日志段文件大小（默认1GB）。当日志文件达到该大小或超过log.retention.hours（默认168小时，即7天）时，会自动滚动或删除。可根据磁盘空间调整（如增大至2GB）。log.retention.hours：日志保留时间（默认168小时）。超过该时间的消息会被自动删除，可根据业务需求调整（如30天→720小时）。log.cleanup.policy：日志清理策略（默认delete）。可选compact（压缩，仅保留每个Key的最新值，适用于变更日志场景）或delete（删除过期数据，适用于普通场景）。高可用配置
default.replication.factor：Topic默认副本数（默认3）。副本数越多，数据可靠性越高，但会增加IO与网络开销。建议设置为集群Broker数量的较小值（如3个Broker→3副本）。min.insync.replicas：写入时要求同步的副本数（默认2）。若同步副本数不足，生产者会收到NotEnoughReplicasException。建议设置为default.replication.factor-1（如3副本→2），平衡可靠性与性能。Producer负责向Kafka发送消息，其配置影响消息发送的效率与可靠性。
基础连接
bootstrap.servers：Kafka集群地址（格式：host1:port1,host2:port2）。只需配置少量Broker（如2个），Producer会自动获取集群元数据。key.serializer/value.serializer：Key/Value的序列化类（默认org.apache.kafka.common.serialization.StringSerializer）。若发送JSON数据，需改为org.apache.kafka.common.serialization.JsonSerializer。可靠性配置
acks：消息确认机制（默认1）。可选：
0：Producer不等待Broker确认，性能最高但可能丢失消息（Broker宕机时）。1：等待Leader副本确认，兼顾性能与可靠性（推荐）。-1/all：等待所有ISR（同步副本）确认，可靠性最高但延迟较高（适用于金融场景）。retries：发送失败重试次数（默认0）。建议设置为3，避免因网络抖动导致消息丢失。enable.idempotence：是否开启幂等性（默认false）。开启后，Producer会为每条消息分配唯一ID，避免重复发送（适用于acks=all场景）。性能优化
batch.size：批量发送大小（默认16KB）。增大该值可提高吞吐量（如64KB），但会增加延迟（消息需等待批量满）。linger.ms：批量发送延迟时间（默认0ms）。增大该值（如10-100ms），可让Producer等待更多消息凑成批量，提升吞吐量。compression.type：消息压缩类型（默认none）。可选gzip（压缩率高但CPU消耗大）、snappy（平衡压缩率与CPU）、lz4（高性能）。建议开启压缩（如snappy），减少网络传输量。Consumer负责从Kafka拉取消息，其配置影响消费的效率与可靠性。
基础连接
bootstrap.servers：Kafka集群地址（格式同Producer）。group.id：消费者组ID（必填）。同一组的消费者会协同消费Topic分区（每个分区只能被组内一个消费者消费）。key.deserializer/value.deserializer：Key/Value的反序列化类（默认org.apache.kafka.common.serialization.StringDeserializer）。若消费JSON数据，需改为org.apache.kafka.common.serialization.JsonDeserializer。消费行为
auto.offset.reset：无偏移量或偏移量无效时的处理方式（默认latest）。可选：
earliest：从最早的消息开始消费（适用于数据重放场景）。latest：从最新的消息开始消费（默认，适用于实时处理场景）。none：无偏移量时抛出异常（适用于严格要求偏移量管理的场景）。enable.auto.commit：是否自动提交偏移量（默认true）。建议设置为false，改为手动提交（commitSync()或commitAsync()），避免因自动提交导致的消息重复或丢失。max.poll.records：单次poll()拉取的最大消息数（默认500）。减小该值（如100），可减轻消费者处理负担，但会增加poll()频率。性能与可靠性
fetch.min.bytes：单次拉取的最小数据量（默认1字节）。增大该值（如1KB），可减少网络请求次数，提升吞吐量。fetch.max.wait.ms：等待数据的最大时间（默认500ms）。若未达到fetch.min.bytes，会在该时间后返回数据（避免长时间等待）。session.timeout.ms：消费者与Broker的心跳超时时间（默认10秒）。若超过该时间未发送心跳，Broker会认为消费者已宕机，触发再平衡。建议设置为heartbeat.interval.ms×3（如heartbeat.interval.ms=3000→session.timeout.ms=10000）。max.poll.interval.ms：两次poll()的最大间隔时间（默认5分钟）。若超过该时间未调用poll()，Broker会认为消费者无响应，触发再平衡。建议根据消息处理时间调整（如处理一条消息需10秒→设置为300000（5分钟））。$KAFKA_HOME/config/server.properties（KAFKA_HOME为Kafka安装目录）。$KAFKA_HOME/config/producer.properties、$KAFKA_HOME/config/consumer.properties（可选，也可通过命令行参数传递）。$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &（后台启动）。$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config $KAFKA_HOME/config/producer.properties。$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config $KAFKA_HOME/config/consumer.properties --from-beginning。以上参数需根据实际业务场景（如数据量、延迟要求、可靠性需求）调整，建议先使用默认配置测试，再逐步优化。