CentOS Java网络如何调优

CentOS 上 Java 网络调优实战指南

一 系统层调优

• 文件句柄与连接上限

  • 提升系统级与进程级文件句柄上限，避免“Too many open files”。
  • 检查与设置示例：
    • 查看：cat /proc/sys/fs/file-nr；sysctl -n fs.nr_open；sysctl -n fs.file-max
    • 持久化：/etc/sysctl.conf 增加 fs.nr_open=2097152；fs.file-max=2097152
    • 进程级（systemd 服务）：/etc/systemd/system.conf 设置 DefaultLimitNOFILE=2097152
  • 说明：每个 TCP 连接至少占用一个文件描述符，高并发服务需显著调高上限。

• 套接字与 TCP 缓冲区

  • 增大内核与 TCP 套接字读写缓冲，减少小包往返次数，提高吞吐与延迟稳定性。
  • 建议值（按带宽与延迟调优，以下为通用起点）：
    • net.core.rmem_max=16777216；net.core.wmem_max=16777216
    • net.ipv4.tcp_rmem=4096 87380 16777216
    • net.ipv4.tcp_wmem=4096 65536 16777216
  • 原理要点：rmem/wmem 的单位为字节；tcp_rmem/tcp_wmem 的三个值分别为最小/默认/最大。

• 端口与本地端口范围

  • 扩大客户端可用端口范围，缓解短连接高并发时端口耗尽：
    • net.ipv4.ip_local_port_range=1024 65535
  • 如运行 NAT/防火墙状态跟踪，适当提升连接跟踪上限（谨慎评估内存占用）：
    • net.ipv4.ip_conntrack_max=1048576。

• 时延与特性开关

  • 降低 SYN 重试，加速失败收敛：net.ipv4.tcp_syn_retries=1；net.ipv4.tcp_synack_retries=1
  • 启用性能相关特性：net.ipv4.tcp_timestamps=1；net.ipv4.tcp_sack=1；net.ipv4.tcp_window_scaling=1
  • 启用并合理配置 TCP Fast Open（需客户端/服务端协同）：net.ipv4.tcp_fastopen=3
  • 应用侧建议开启 Nagle 关闭（TCP_NODELAY）以降低小包延迟，适用于低延迟/交互式场景。

• 应用容器与中间件线程/连接

  • 以 Tomcat 为例（Spring Boot 内嵌亦同）：
    • server.tomcat.threads.min-spare=100；server.tomcat.threads.max=300
    • server.tomcat.accept-count=1000
    • server.tomcat.max-connections=2000（通常应大于 max-threads + accept-count）
    • server.tomcat.connection-timeout=2000
  • 原则：线程与连接数需与 CPU/内存/网络能力匹配，避免无谓排队与上下文切换风暴。

二 Java 应用层调优

• 代理与网络参数

  • 代理：java -Dhttp.proxyHost=proxy.example.com -Dhttp.proxyPort=8080 -Dhttps.proxyHost=proxy.example.com -Dhttps.proxyPort=8080 -jar app.jar
  • 超时：java -Dsun.net.client.defaultConnectTimeout=5000 -Dsun.net.client.defaultReadTimeout=5000 -jar app.jar
  • 地址缓存 TTL：java -Dsun.net.inetaddr.ttl=60 -Dsun.net.inetaddr.negative.ttl=10 -jar app.jar
  • 仅 IPv4（如环境不需要 IPv6）：java -Djava.net.preferIPv4Stack=true -jar app.jar
  • 说明：上述为常用系统属性，适用于大多数基于 JDK 网络栈的应用。

• SSL/TLS 信任与密钥

  • 指定信任库与密钥库（示例）：
    • java -Djavax.net.ssl.trustStore=/path/to/truststore.jks -Djavax.net.ssl.trustStorePassword=changeit
    • -Djavax.net.ssl.keyStore=/path/to/keystore.jks -Djavax.net.ssl.keyStorePassword=mypassword -jar app.jar
  • 生产环境请使用专用密钥库与最小权限策略，避免将密码硬编码在命令行。

三 防火墙与网络连通性

• firewalld 放通业务端口
  • 开放端口：firewall-cmd --permanent --add-port=8080/tcp；firewall-cmd --reload
  • 按需为回环或内部接口设置信任域，减少策略干扰（谨慎评估安全边界）。
• SELinux
  • 临时调试可 setenforce 0；生产环境建议通过策略放行对应网络行为而非全局关闭。
• 基础连通性
  • 确认接口与路由：ip addr；ip route
  • 必要时配置 /etc/resolv.conf 的 nameserver，确保 DNS 解析可达。

四 监控与验证

• 连接与套接字
  • 查看连接状态：ss -s；netstat -tulpen（关注 ESTAB、TIME_WAIT、CLOSE_WAIT 的数量与增长趋势）
• 流量与带宽
  • 实时带宽观测：nload eth0（区分 Incoming/Outgoing，观察 Curr/Avg/Max）
• 抓包与延迟定位
  • 定向抓包：tcpdump -i eth0 port 8080 -nn -vv
• 系统参数核对
  • 列出与网络相关的内核参数：/sbin/sysctl -a | grep ^net
• 文件句柄使用
  • 观察分配情况：cat /proc/sys/fs/file-nr（已分配/未使用/最大）。

五 安全与回退建议

• 变更前备份：/etc/sysctl.conf、/etc/security/limits.conf、服务 unit 文件等；先在测试环境验证。
• 逐步调优：一次只调整少量参数，结合压测与监控观察 RTT、P95/P99、吞吐、错误率与连接数变化。
• 资源与稳定性优先：缓冲区与连接数并非越大越好，需结合内存、CPU、网卡与后端处理能力综合权衡。
• 容器与云环境：注意宿主机与容器/Pod 的 ulimit、net.core 与 conntrack 配额差异，必要时在编排层显式声明。