Debian进程集群部署方案

Debian进程集群部署方案

一、方案总览与适用场景

• 单机多进程守护：用 systemd 或 Supervisor 管理多个进程，设置 Restart=always 实现崩溃自启与开机自启，适合单节点多实例与快速落地。
• 多机横向扩展：在多个 Debian 节点各自运行应用实例，前置 Nginx/HAProxy 做反向代理与健康检查，实现负载均衡与故障隔离。
• 容器化与编排：用 Docker Compose 快速拉起多副本；规模更大时采用 Kubernetes（Debian 上可用 kubeadm），获得自动调度、健康检查与扩缩容能力。
• 高可用控制面：对入口或核心服务引入 Keepalived VIP 或 Pacemaker+Corosync 管理 VIP 与关键服务，避免单点故障。
• 监控与日志：集中日志用 rsyslog/ELK，资源监控用 htop/glances，应用性能可用 PM2 monit 等。

二、单机多进程与进程守护

• systemd 方式（系统级、开机自启、崩溃重启）
  • 关键点：创建 /etc/systemd/system/myapp.service，设置 ExecStart、Restart=always、User、WorkingDirectory；用 journalctl -u myapp 查看日志。
  • 适用：任何长期运行进程，要求稳定与系统级集成。
• Supervisor 方式（轻量、批量进程、集中日志）
  • 安装与托管：apt install supervisor；配置 /etc/supervisor/conf.d/myapp.conf，用 numprocs 启动多个并发进程，autorestart=true 自动拉起，stdout_logfile 集中输出。
  • 适用：多进程/多命令的集中管理、快速横向扩展实例数。
• Node.js 专项（内置或 PM2）
  • 内置 cluster：主进程 fork 与 CPU 核心数相同的子进程，子进程共享监听端口，类 Unix 默认 round-robin 分发。
  • PM2 集群模式：pm2 start app.js -i max（按 CPU 核数），或用 ecosystem.config.js 配置 instances、exec_mode、autorestart、max_memory_restart，支持 pm2 monit 监控与零停机重启。

三、多机横向扩展与负载均衡

• 架构要点：每台 Debian 节点运行多个应用实例（不同端口或相同端口均可），前置 Nginx/HAProxy 统一暴露 80/443，做反向代理与健康检查，后端按 round-robin 或其他策略分发。
• Nginx 示例
  • upstream 定义后端实例；server 段 proxy_pass 到 upstream；按需设置 proxy_http_version 1.1、X-Real-IP、X-Forwarded-For、Upgrade/Connection 以支持长连接与 WebSocket。
• HAProxy 示例
  • frontend 监听 80；backend 使用 balance roundrobin 并配置 server … check 健康检查。
• 运维提示：配合进程管理器的 优雅停机/重启 与负载均衡的 健康检查，可实现滚动升级与故障隔离。

四、容器化与编排

• Docker Compose（小规模快速多副本）
  • 用 Dockerfile 构建镜像；在 docker-compose.yml 中定义 replicas（如 3–4 个实例）、端口映射、重启策略；命令：docker-compose up -d，docker-compose ps / scale。
  • 适用：开发/测试一致性、快速复制环境、与 CI/CD 集成。
• Kubernetes（大规模生产）
  • 在 Debian 上使用 kubeadm 搭建高可用集群，常见组合为 Keepalived + HAProxy 提供 VIP 入口，多个 master 节点通过 kube-apiserver 6443 接入，worker 节点加入集群。
  • 适用：自动化调度、健康检查、自动扩缩容、滚动升级与声明式运维。

五、高可用与故障转移

• Keepalived VIP（二层/三层浮动 IP）
  • 两台入口节点部署 Keepalived，配置 VIP 与 state MASTER/BACKUP、priority，实现主机故障时 VIP 漂移，对外提供稳定入口。
• Pacemaker + Corosync（资源级 HA）
  • 多节点安装 pacemaker/corosync/pcs，用 pcs 认证与初始化集群；建议配置 STONITH/fencing 防脑裂；添加 VIP（ocf:heartbeat:IPaddr2） 与 systemd 服务资源（如 systemd:httpd/systemd:mariadb），并设置 colocation/order 约束保证依赖与启动顺序；可验证 standby 节点触发故障转移。
• LAMP 场景实践
  • 前端 Nginx 负载均衡到多台 Apache；数据库 MariaDB 主从复制 提升读可用性与故障切换能力；关键服务纳入 Pacemaker 管理，实现 VIP + Apache + MariaDB 的整体 HA。

六、监控、日志与运维要点

• 日志：应用 stdout/stderr 接入 systemd/journald 或 Supervisor，集中到 rsyslog/ELK（Elasticsearch+Logstash+Kibana） 做检索与可视化。
• 监控：节点与资源用 htop/glances；Node.js 可用 PM2 monit；生产建议接入 Prometheus + Grafana 做指标与告警。
• 安全：仅放通必要端口（如 80/443），数据库端口（如 3306）限制为可信来源；对外入口使用 TLS；集群节点间通信按需开放端口并加固。
• 升级与回滚：采用 蓝绿/金丝雀 发布策略；配合 健康检查 与 优雅停机（先摘除流量、再重启进程、最后恢复流量），确保零或低影响升级。