Ubuntu上部署Kafka的资源分配与调优指南
一 资源分配总览与快速建议
- 内存：为Broker设置堆内存时，将**-Xms与-Xmx设为相同值（避免运行时扩缩堆带来的抖动），并优先选择G1GC**。一般建议堆不超过物理内存的50%，其余留给操作系统页缓存以提升磁盘读写性能。示例：-Xms8G -Xmx8G。
- CPU：将num.network.threads设为约CPU核数+1，num.io.threads设为约CPU核数×2，以匹配网络与磁盘并行度。
- 磁盘：优先使用SSD；将log.dirs配置为多个目录并挂载到不同物理磁盘，可显著提升吞吐并实现故障隔离。
- 网络：开启压缩（compression.type=lz4/snappy）、合理设置acks与批量参数，提高吞吐与可靠性。
二 不同规格机器的起步配置示例
| 机器规格 |
堆内存 |
GC与直接内存 |
线程与并发 |
存储与保留 |
网络与批量 |
| 4核8GB |
-Xms4G -Xmx4G |
G1GC；必要时**-XX:MaxDirectMemorySize=512M~1G** |
num.network.threads≈5；num.io.threads≈8 |
单盘或双盘；log.retention.hours=72；log.segment.bytes=1GB |
compression=lz4；batch.size=64KB~1MB；linger.ms=5~20ms |
| 8核16GB |
-Xms8G -Xmx8G |
G1GC；-XX:MaxDirectMemorySize=1G |
num.network.threads≈9；num.io.threads≈16 |
多盘挂载到log.dirs；log.retention.hours=168 |
acks=all；fetch.min.bytes=1MB；fetch.max.wait.ms=1000ms |
| 16核32GB |
-Xms16G -Xmx16G |
G1GC；-XX:MaxDirectMemorySize=2G |
num.network.threads≈17；num.io.threads≈32 |
多盘/SSD；按磁盘容量规划保留 |
适度提高分区数以匹配并发；监控并逐步调优 |
说明：分区数应结合消费者并发与磁盘数规划，避免过少（并发不足）或过多（ZK/元数据压力增大）。
三 关键配置与推荐值
- server.properties（Broker）
- listeners/advertised.listeners：如PLAINTEXT://0.0.0.0:9092与对外域名/IP，确保客户端可达。
- log.dirs：配置多个目录（如**/data1/kafka,/data2/kafka**）以利用多盘并行。
- 可靠性：default.replication.factor≥3，min.insync.replicas=2。
- 保留策略：log.retention.hours=168（可按容量改为log.retention.bytes）。
- 消息上限：message.max.bytes=10485760（10MB）；副本抓取上限：replica.fetch.max.bytes与之匹配。
- 并发与I/O：num.network.threads≈CPU+1；num.io.threads≈CPU×2；num.replica.fetchers≈CPU/2；num.partitions按并发与磁盘数规划。
- 刷新策略：生产环境建议由操作系统页缓存主导，慎用强制刷盘（如log.flush.interval.messages/ms保持默认或较大值）。
- JVM与环境
- 堆与GC：export KAFKA_HEAP_OPTS=“-Xms8G -Xmx8G”；export KAFKA_JVM_PERFORMANCE_OPTS=“-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35”。
- 元空间与直接内存：-XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m；-XX:MaxDirectMemorySize=1G~2G（依据并发与页缓存调优）。
- 文件描述符：ulimit -n 65535 或更高（systemd服务中配置LimitNOFILE）。
四 Ubuntu系统层面的优化
- 资源与内核
- 文件描述符与进程数：提高ulimit -n与nproc，并在systemd unit中设置LimitNOFILE=65535。
- 虚拟内存与脏页：vm.swappiness=1~10；vm.dirty_background_ratio与vm.dirty_ratio适度降低以减少抖动。
- 存储与调度：使用noop/deadline调度器（SSD），并挂载noatime。
- 网络：启用tcp_nodelay、合理的tcp_keepalive_time，避免Nagle与连接空闲超时过短。
- 监控与维护
- JMX暴露指标，结合Prometheus + Grafana或Kafka自带工具持续观测吞吐、延迟、请求耗时、ISR变化与磁盘/网络利用率。
五 部署与验证步骤
- 安装与目录
- 安装OpenJDK 11（或更高）；创建专用用户（如kafka）；数据目录（如**/var/lib/kafka-logs**）归属kafka并设权限。
- 配置要点
- 编辑config/server.properties：设置broker.id、listeners/advertised.listeners、log.dirs、zookeeper.connect（或KRaft模式相应配置）、副本与保留策略。
- 服务化
- 使用systemd管理Kafka服务（After=zookeeper.service；ExecStart指向启动脚本；Restart=on-failure），便于开机自启与日志收集。
- 基础验证
- 创建测试主题、生产/消费消息，使用kafka-topics.sh --describe与JMX检查分区分布、Leader/ISR与吞吐。