kafka在centos上的网络配置有哪些要点 - 问答

Kafka 在 CentOS 的网络配置要点

一核心监听与对外地址

明确区分并同时配置以下三项，避免客户端连不通或获取到错误地址：
- listeners：Broker 实际监听的接口与端口，如 PLAINTEXT://0.0.0.0:9092（监听所有接口）或 PLAINTEXT://192.168.1.10:9092（仅内网口）。
- advertised.listeners：对外公布的地址，客户端最终用此地址连接，如 PLAINTEXT://kafka-prod.example.com:9092 或公网/内网具体 IP。
- listener.security.protocol.map：协议映射（如 PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL），多协议/多端口时必配。

示例（单内网口）：

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.1.10:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT

示例（内外网分离，双端口）：

listeners=INTERNAL://192.168.1.10:9092,EXTERNAL://0.0.0.0:9093
advertised.listeners=INTERNAL://192.168.1.10:9092,EXTERNAL://203.0.113.20:9093
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
inter.broker.listener.name=INTERNAL
security.inter.broker.protocol=PLAINTEXT

常见误区：只配 listeners 不配 advertised.listeners，或 advertised 填了不可达地址（如内网地址给公网客户端）。上述三项与多协议映射是 Kafka 网络连通性的首要关键。

二主机名解析与连通性

保证客户端可解析 advertised.listeners 中的主机名（内网用内网 DNS/主机 hosts，公网用可公网解析的域名或弹性 IP）。
在 CentOS 上排查基础网络与路由：
- 查看网卡与地址：ip addr / ifconfig
- 查看路由：route -n
- 测试连通：ping / traceroute / nslookup
多网卡/双网卡环境需明确各接口用途，必要时通过 inter.broker.listener.name 指定 Broker 间通信使用的监听名称，避免跨错网段。

三防火墙与端口放行

放行 Kafka 端口（以 9092 为例，若启用 SSL/SASL 或内外网分离，还需放行对应端口如 9093）：
- firewalld：
```
sudo firewall-cmd --permanent --add-port=9092/tcp
sudo firewall-cmd --reload
```
- 或 nftables/iptables 放行对应 TCP 9092。
云服务器需同时配置安全组/NACL规则，放通相应端口与来源网段。

四传输加密与认证

启用 SSL/TLS：配置 ssl.keystore.location / ssl.keystore.password / ssl.truststore.location / ssl.truststore.password，并在 listeners 使用 SSL:// 或在安全映射中声明协议。
启用 SASL（如 SCRAM 或 Kerberos）：配置 sasl.enabled.mechanisms / sasl.mechanism.inter.broker.protocol / sasl.jaas.config，并在 listener.security.protocol.map 中映射为 SASL_PLAINTEXT/SASL_SSL。
对外公网建议启用 SSL；内网可按需选择 SASL 或明文（配合网络隔离）。

五性能与可靠性相关的网络参数

增大套接字缓冲与队列，提高吞吐与抗突发：

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
num.network.threads=3
num.io.threads=8

提升 TCP 栈与内核网络参数（/etc/sysctl.d/99-kafka.conf），示例：

net.core.rmem_default=4194304
net.core.wmem_default=4194304
net.ipv4.tcp_rmem=4096 65536 4194304
net.ipv4.tcp_wmem=4096 65536 4194304
net.core.netdev_max_backlog=100000
net.ipv4.tcp_max_syn_backlog=5120
vm.swappiness=1

打开文件与进程限制（/etc/security/limits.conf）：

* soft nofile 65535
* hard nofile 65535
* soft nproc  65535
* hard nproc  65535

大消息场景注意副本同步窗口：将 replica.fetch.max.bytes 提升到不小于 topic 的 max.message.bytes，避免 ISR 频繁掉队（默认 1 MiB 常不足）。
其他稳定性参数（按业务权衡）：如 min.insync.replicas、replica.lag.time.max.ms 等。

0 赞

0 踩