centos上kafka网络配置有哪些要点

一、核心网络参数配置

• listeners：定义Kafka Broker监听的网络接口、端口及协议（如PLAINTEXT/SSL/SASL_PLAINTEXT）。格式为协议://IP:端口，常见配置包括：
  • 监听所有接口：listeners=PLAINTEXT://0.0.0.0:9092（开发测试常用，生产环境需限制IP）；
  • 监听特定接口：listeners=PLAINTEXT://内网IP:9092（仅允许内网访问）。
    该参数决定了Kafka接受连接的入口，需与服务器网络环境匹配。
• advertised.listeners：告知客户端如何连接到Kafka集群，尤其在使用NAT、负载均衡或跨网络时至关重要。需设置为客户端可直接访问的地址（如公网IP、域名或负载均衡地址）。例如：
  • 内网环境：advertised.listeners=PLAINTEXT://内网IP:9092；
  • 外网环境：advertised.listeners=PLAINTEXT://公网IP:9092。
    若配置错误，客户端将无法建立连接。
• listener.security.protocol.map：关联协议与安全机制，确保通信安全。例如：
  • 明文传输：listener.security.protocol.map=PLAINTEXT:PLAINTEXT；
  • SSL加密：listener.security.protocol.map=SSL:SSL,SASL_SSL:SASL_SSL；
  • SASL认证：listener.security.protocol.map=SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL。
    需与listeners中的协议一一对应，生产环境建议启用SSL/SASL。
• inter.broker.listener.name：指定Broker之间通信的监听器名称（仅在集群内部使用）。需在listeners中定义，例如：
  inter.broker.listener.name=INTERNAL_PLAINTEXT，并在listener.security.protocol.map中配置对应安全机制。该参数隔离了内部与外部流量，提升集群安全性。

二、网络性能优化配置

• socket.send.buffer.bytes：发送缓冲区大小（默认102400字节），用于临时存储待发送数据。增大该值可提升批量发送效率，适合高带宽网络，例如设置为1MB：socket.send.buffer.bytes=1048576。
• socket.receive.buffer.bytes：接收缓冲区大小（默认102400字节），用于存储客户端发送的数据。增大该值可减少丢包率，适合高吞吐量场景，例如设置为1MB：socket.receive.buffer.bytes=1048576。
• num.network.threads：处理网络请求的线程数（默认3）。需根据CPU核心数调整，建议设置为CPU核数+1（如4核CPU设置为5），以提升并发处理能力。
• num.io.threads：处理磁盘I/O的线程数（默认8）。需根据磁盘性能和I/O负载调整，建议设置为CPU核数的2倍（如4核CPU设置为8），以加快消息写入速度。
• socket.request.max.bytes：单个socket请求的最大大小（默认100MB）。需根据消息大小调整，若生产大消息（如超过10MB），可适当增大（如100MB）：socket.request.max.bytes=104857600，避免请求被拒绝。

三、安全配置要点

• 协议与加密：避免使用明文传输（PLAINTEXT），优先启用SSL加密（SSL://）或SASL认证（SASL_PLAINTEXT:///SASL_SSL://）。例如：
  listeners=SSL://0.0.0.0:9093，并配置listener.security.protocol.map=SSL:SSL。
• 证书管理：启用SSL时，需为Broker配置证书（如CA证书、Broker证书），客户端需信任该证书，确保通信加密。
• 访问控制：结合防火墙、安全组限制访问IP，仅允许可信客户端/节点访问Kafka端口（如9092/9093）。

四、防火墙与系统配置

• CentOS防火墙：使用firewalld开放Kafka端口（默认9092），命令如下：

  sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent
  sudo firewall-cmd --reload
  

  若使用SELinux，需设置为宽松模式（setenforce 0）或配置SELinux策略允许Kafka网络访问。
• 系统内核参数：优化网络性能，调整以下参数（写入/etc/sysctl.conf后执行sysctl -p）：
  • 降低swap使用：vm.swappiness=1；
  • 调整脏页刷新：vm.dirty_background_ratio=10、vm.dirty_ratio=20；
  • 增加内存映射限制：vm.max_map_count=262144；
  • 优化TCP缓冲区：net.core.rmem_default=262144、net.core.wmem_default=262144、net.ipv4.tcp_wmem=4096 16384 4194304、net.ipv4.tcp_rmem=4096 87380 4194304。

五、其他注意事项

• 主机名解析：确保listeners中的IP或主机名可被客户端解析（如通过DNS或/etc/hosts文件），避免连接失败。
• 日志目录权限：log.dirs指定的目录（如/tmp/kafka-logs）需有Kafka进程的写权限，避免启动失败。
• Zookeeper连接：zookeeper.connect需配置为可访问的Zookeeper地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181），确保Kafka与Zookeeper集群通信正常。