Ubuntu Kafka配置资源分配

在Ubuntu上配置Kafka资源分配，需从内存、CPU、磁盘、网络等方面优化，以下是关键步骤及参数说明：

• 内存分配
  通过设置JVM堆内存限制Kafka内存使用，编辑kafka-server-start.sh脚本，添加：
  export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"（根据服务器内存调整，建议不超过物理内存50%-70%）。
• CPU资源
  • 调整server.properties中num.network.threads（网络线程数，默认8）和num.io.threads（I/O线程数，默认8），根据CPU核心数优化。
  • 可通过cgroups限制CPU使用率（需安装cgroup-tools）。
• 磁盘配置
  • 指定日志存储目录log.dirs（如/data/kafka/logs），确保磁盘空间充足，建议使用SSD提升I/O性能。
  • 配置日志清理策略：log.retention.hours（保留时间，默认168小时）、log.segment.bytes（日志段大小，默认1GB）。
• 网络优化
  调整listeners参数指定监听地址和端口（如PLAINTEXT://0.0.0.0:9092），并通过系统参数优化网络延迟（如tcp_nodelay）。
• 其他参数
  • 启用消息压缩：compression.type=gzip（减少网络和存储开销）。
  • 调整分区数num.partitions（默认1），根据业务负载均衡数据。

配置后需重启Kafka服务生效，并通过监控工具（如Prometheus+Grafana）观察资源使用情况，动态调整参数。