Kubernetes在CentOS上的扩展性与高可用性部署

在 CentOS 上构建高可用与可扩展的 Kubernetes 集群

一 架构与容量规划

• 控制平面建议至少部署3 台 Master节点（奇数便于 etcd quorum），工作节点按需横向扩展；每个 Master 运行 kube-apiserver、kube-controller-manager、kube-scheduler，并通过 etcd 保存集群状态。
• 在 Master 前配置 HAProxy + Keepalived 提供 VIP 统一入口，API Server 端口为 6443；也可使用云厂商的负载均衡服务。
• 网络插件选择 Calico/Flannel 等 CNI，保证 Pod 网络与网络策略能力。
• 容量基线：每节点建议≥2 核 CPU、4GB 内存、50GB 磁盘；生产环境可结合业务峰值与调度策略预留余量。

二 基础环境准备

• 所有节点统一配置：
  • 关闭 swap：swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab
  • 关闭 SELinux：setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
  • 主机名与 /etc/hosts 解析（或使用 DNS），保证节点互通。
  • 内核参数（/etc/sysctl.d/k8s.conf）：
    • net.bridge.bridge-nf-call-iptables=1、net.bridge.bridge-nf-call-ip6tables=1
    • net.ipv4.ip_forward=1、vm.swappiness=0
  • 时间同步：安装并启用 chrony，确保节点间时间一致。
  • 加载 IPVS 模块（kube-proxy ipvs 模式）：
    • 模块：ip_vs ip_vs_rr ip_vs_wrr ip_vs_sh nf_conntrack
    • 建议写入 /etc/modules-load.d/ipvs.conf 并重启 systemd-modules-load.service。

三 高可用控制平面部署

• 方案一 kubeadm 多 Master + 外部 LB（推荐）

  1. 部署 HAProxy（示例）：
     • 监听 VIP:6443，后端指向各 Master 的 6443，开启健康检查（HTTP /healthz 或 ssl-hello-chk）。
  2. 部署 Keepalived：配置 VRRP 实例与 VIP，健康检查脚本探测本地 apiserver/haproxy，异常时触发 VIP 漂移。
  3. 初始化第一个控制平面：
     • kubeadm init --control-plane-endpoint "VIP:6443" --upload-certs
     • 将 admin.conf 拷贝至 $HOME/.kube/config 供 kubectl 使用。
  4. 加入其余控制平面与工作节点：
     • 使用 kubeadm join ... --control-plane ... --certificate-key <key> 加入 Master
     • 使用 kubeadm join VIP:6443 ... 加入 Worker
  5. 部署 Calico 网络插件：kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml。

• 方案二 二进制部署（内网/离线友好）

  • 在 3 台 Master 上分别部署 etcd 集群 与 kube-apiserver/scheduler/controller-manager，并通过 HAProxy+Keepalived 对 6443 做 VIP 负载均衡与健康检查；
  • 所有节点部署 kubelet/kube-proxy，CNI 使用 Calico；
  • 该方式便于精细控制版本与组件参数，适合无外网或合规要求严格的场景。

四 扩展性与弹性伸缩

• 节点扩容

  • 新节点完成基础环境（内核、IPVS、时间同步等）后，安装容器运行时与 kubelet；
  • 使用 kubeadm join VIP:6443 ... 加入集群，验证 kubectl get nodes 状态；
  • 为关键业务配置 污点/容忍 与 节点亲和/反亲和，将工作负载分散到不同节点，提高可用性。

• 工作负载弹性

  • HPA：基于 CPU/内存/自定义指标 自动扩缩 Pod 副本数，例如：
    • kubectl autoscale deployment myapp --cpu-percent=80 --min=2 --max=10
  • Cluster Autoscaler（配合云厂商或本地资源池）：当集群资源不足时自动新增节点，资源回落时可缩容，提升资源利用率与成本效率。

五 稳定性与运维要点

• 监控与日志
  • 部署 Prometheus + Grafana 监控节点/Pod/组件指标，配置 Alertmanager 告警；
  • 日志体系建议 EFK（Elasticsearch+Fluentd+Kibana） 或 Loki+Grafana，便于快速排障。
• 备份与恢复
  • 定期备份 etcd 与关键清单（如 /etc/kubernetes/manifests、/var/lib/kubelet）；可使用 Velero 将备份存储至对象存储，并定期演练恢复流程。
• 安全与合规
  • 启用 RBAC 最小权限；使用可信镜像仓库并启用镜像签名；通过 NetworkPolicy 限制 Pod 间通信；对外暴露服务优先使用 Service: LoadBalancer/Ingress 并开启 TLS。
• 升级与变更
  • 采用 滚动升级 策略，先在测试环境验证版本兼容性与业务稳定性；变更前备份、变更中灰度、变更后回滚预案完备。