CentOS 环境下进行 Kubernetes 缩容的关键注意事项
一 操作前检查清单
- 明确缩容对象：区分是缩容节点（Node）还是缩容工作负载副本（Pod 数量）。节点缩容务必先驱逐 Pod再下线；工作负载缩容通过scale或HPA完成。
- 选择目标节点：优先挑选资源占用较低、非核心业务、非关键基础设施（如单点 NFS）的节点；若节点承担 NFS 服务或承载关键有状态服务，需先迁移/切换。
- 资源与亲和性：核对待迁移 Pod 的resources.requests/limits，确认其他节点可承载；检查nodeSelector/亲和性/污点与容忍度，避免被驱逐后无法调度。
- 有状态与持久化：对 StatefulSet/数据库等有状态工作负载，先备份与迁移数据（如 PV 数据目录），确认切换策略与故障域。
- 集群容量：确保缩容后集群仍有足够资源容纳被驱逐的 Pod，避免大面积 Pending。
- 自动伸缩器：若启用 HPA，缩容节点前先暂停/调整相关 HPA，避免驱逐触发自动扩容抵消缩容效果。
- 负载均衡与服务发现：确认 Service/Ingress/LB 后端变化不会导致短时中断或连接抖动。
二 节点缩容的标准流程与命令
- 标记不可调度：
kubectl cordon
- 驱逐业务 Pod（忽略 DaemonSet，必要时清理 emptyDir）：
kubectl drain --ignore-daemonsets [–delete-emptydir-data]
- 观察状态：确认节点上仅剩 DaemonSet 或无 Pod，且被驱逐 Pod 已在其他节点Running。
- 下线节点服务：
systemctl disable --now kubelet
- 清理节点残留：
kubeadm reset -f
rm -rf /etc/cni/net.d /etc/kubernetes $HOME/.kube
iptables -F && iptables -t nat -F
ipvsadm --clear
- 从集群移除节点：
kubectl delete node
- 云盘/本地盘处理：确认数据已迁移后，卸载并清理磁盘（如 wipefs/dd 谨慎操作，避免误删系统盘）。
三 常见拦截与风险控制
- 无法驱逐的典型原因：存在静态 Pod、本地存储（emptyDir/local PV）、节点亲和/反亲和、污点容忍不匹配、被 DaemonSet 占用等。处理思路：迁移/备份数据、调整亲和/污点、使用**–delete-emptydir-data**、或先清理静态 Pod 定义。
- 直接删除 Node 的后果：会导致Pod 瞬间失联/中断，应先 cordon → drain → delete node。
- 单点依赖风险：如NFS 服务端运行在待缩容节点，需先迁移 PV/NFS 或切换服务端，否则业务会中断。
- 资源不足导致 Pending：驱逐后若其他节点资源紧张，Pod 会 Pending，需提前评估容量或暂缓缩容。
- 自动伸缩干扰：HPA 可能基于指标立刻扩容新节点，抵消缩容收益；缩容前建议暂停 HPA或设置合适的 behavior.scaleDown.stabilizationWindowSeconds 与策略。
四 工作负载缩容与自动化的注意点
- 手动缩容：
kubectl scale deployment --replicas=
缩容后持续观察 Pod 终止、就绪探针、服务 endpoints 与事件，确保流量无损切换。
- HPA 缩容策略：为避免过度缩容，设置合理的 minReplicas、stabilizationWindowSeconds 与 scaleDown 策略，并结合就绪探针保证只有健康 Pod 接收流量。
- 定时/按需伸缩：如使用 KEDA Cron 在非工作时段将副本降至 0，注意与 readiness/liveness 配合，避免冷启动影响。
- 监控与告警：对 HPA 事件、Pod 重启、Pending、服务 5xx 设置监控与告警，及时回滚或干预。
五 CentOS 系统层面的细节
- 清理网络残留：确保 CNI 配置与 iptables/IPVS 规则清理干净，避免残留影响后续节点加入或网络异常。
- 时间同步：节点时间漂移会影响 kubelet 与组件通信，缩容/扩容前后保持 NTP 同步。
- 安全合规：节点退役前完成审计日志留存、敏感数据清理与（高安全场景）磁盘消磁/物理销毁。