Java 在 Linux 的高可用落地方案
一、总体架构与分层
- 接入层高可用：使用 Nginx + Keepalived 提供 VIP 漂移与故障切换，承载南北向流量；在大规模或四层转发场景可用 LVS + Keepalived 作为更靠近内核的负载层。
- 应用层高可用：多实例部署 Java/Tomcat 集群，横向扩展，配合健康检查与自动摘除异常实例。
- 数据与中间件高可用：数据库主从/集群、分布式缓存（如 Redis）、消息队列（如 Kafka/RabbitMQ）冗余与故障切换。
- 观测与告警：指标与日志集中化（如 Prometheus + Grafana、ELK），设置告警规则，保障可观测与快速恢复。
- 进程与编排：在物理机/虚拟机阶段用 systemd 或守护脚本保证进程存活；在容器化阶段用 Kubernetes 做编排、自愈与弹性扩缩。
二、快速落地方案 Nginx + Keepalived + Tomcat
- 环境准备
- 在两台 Linux 主机安装 JDK 1.8、Tomcat 9，统一 JAVA_HOME/CATALINA_HOME；开放 80/8080 等端口或按需配置防火墙放行策略。
- 部署 Tomcat 集群
- 多节点部署相同版本的 Tomcat，分别启动；确保应用是无状态或以共享存储/数据库保证一致性。
- 配置 Nginx 反向代理与负载均衡
- 示例 upstream 配置：
- upstream tomcat { server node1:8080; server node2:8080; server node3:8080; }
- server { listen 80; location / { proxy_pass http://tomcat; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } }
- 配置 Keepalived 提供 VIP
- 两台 Nginx 节点安装 Keepalived，一主一备；定义 vrrp_instance，设置 state MASTER/BACKUP、priority、virtual_ipaddress（VIP）；通过 vrrp_script 健康检查 Nginx/应用，失败时降低权重或停止 Keepalived 触发切换。
- 启动与验证
- 启动 Tomcat → Nginx → Keepalived；访问 VIP 验证转发与故障切换；停掉主节点 Nginx/Keepalived 或关闭端口，确认 VIP 漂移到备机。
三、进程保活与自恢复
- systemd 方式（推荐）
- 为 Java 应用编写 systemd unit（设置 ExecStart、Restart=always、RestartSec、User、WorkingDirectory、Environment=JAVA_OPTS=…），实现崩溃自动拉起、开机自启与日志采集（journald）。
- 守护进程方式（轻量或无 systemd 场景）
- 使用 jps 检测 JVM 存活，结合 FileLock 实现单实例与对端存活监测；通过 ProcessBuilder 启动/重启目标 Java 进程；可采用“双守护”互相监控提升可靠性。
- 健康检查与摘除
- 在 Nginx 层配置主动健康检查与被动重试，异常实例自动摘除；在应用内实现 /health 端点供负载层与编排系统探活。
四、数据与中间件高可用要点
- 数据库：部署 MySQL/MGR 或 PostgreSQL 主从/集群，读写分离与故障切换；应用侧使用连接池与熔断/重试策略。
- 缓存：使用 Redis 主从/哨兵/集群，避免单点；合理设置 TTL 与降级策略，防止雪崩。
- 消息队列：部署 Kafka 多 broker 或 RabbitMQ 镜像队列/集群，保障消息不丢与可恢复。
五、监控、日志与容量规划
- 监控告警：以 Prometheus 采集 JVM/系统/业务 指标，Grafana 可视化并设置阈值告警；对 HTTP 5xx、RT、JVM Full GC、线程池满 等关键指标重点监控。
- 日志管理：采用 ELK（Elasticsearch/Logstash/Kibana） 集中收集与分析 Tomcat/应用 日志，便于故障定位与审计。
- 容量与弹性：结合 QPS/并发/RT 指标进行 JVM 调优（堆大小、GC 策略） 与水平扩容；在容器化场景用 Kubernetes 做自动扩缩与滚动升级。