Kubernetes 集群 Ubuntu 节点故障排查与恢复
一、快速判断与定位
- 查看节点状态与事件：kubectl get nodes -o wide；kubectl describe node （关注 Conditions、Events、Capacity/Allocatable、System Info）。
- 查看节点上关键服务：systemctl status kubelet；journalctl -u kubelet -S “10m ago”；必要时查看 containerd：journalctl -u containerd -S “10m ago”。
- 检查系统资源与磁盘：df -h（常见根因是磁盘满）、free -h、top；检查系统日志：tail -f /var/log/syslog。
- 若控制平面在本机执行 kubectl 报错如“The connection to the server 127.0.0.1:6443 was refused”，多为控制平面未就绪或 kubelet 未启动；若报错“localhost:8080 was refused”，多为 kubeconfig 未正确配置（Node 节点应使用 /etc/kubernetes/kubelet.conf 而非 admin.conf）。
二、常见故障场景与修复
- 节点 NotReady：优先重启 kubelet（systemctl restart kubelet），检查 kubelet 配置与证书路径、磁盘空间、内存与 CPU 压力；必要时查看 kubelet 与 containerd 日志定位 CRI/网络插件异常。
- 重启后 API 连接被拒绝：确认 kubelet 已启动（systemctl start kubelet），若仍报 127.0.0.1:6443 被拒绝，检查控制平面容器/Pod 是否运行、端口监听与防火墙策略。
- 节点反复 NotReady 且伴随镜像拉取/启动慢：检查节点规格与系统 OOM，必要时为 kubelet 设置资源预留（如 --kube-reserved、–system-reserved），并评估禁用 systemd-oomd 对 kubelet 的影响（生产环境谨慎操作）。
- 节点加入失败（kubeadm join 报错 FileAvailable、Port 10250 占用等）：说明该节点曾加入过集群，先执行 kubeadm reset 清理旧状态后再 join。
- 节点网络不可达：检查网卡/路由/DNS（如“network is unreachable”），核对 UFW/iptables 规则是否阻断节点间通信，必要时临时关闭防火墙验证。
- kubectl 客户端无法连接：确认 kubeconfig 路径与内容正确；在 Master 使用 admin.conf，在 Node 使用 kubelet.conf。
三、应急恢复与隔离
- 隔离故障节点：kubectl cordon ；驱逐可迁移 Pod：kubectl drain --ignore-daemonsets --delete-emptydir-data（无法驱逐时加 --force --grace-period=0 作为最后手段）。
- 重启/修复后恢复调度：确认 kubelet 与容器运行时正常、节点 Ready 后再执行 kubectl uncordon 。
- 不可恢复的节点：记录节点信息，从集群移除（如 kubectl delete node ），排障后重建或替换节点。
四、预防与加固建议
- 资源与健康基线：为节点设置合理规格（建议至少4 CPU/8GB 内存）、系统盘≥128GB；监控并告警 kubelet 错误、API 失败率、磁盘使用率等关键指标。
- 配置优化：适度提升 kubelet 的 API 限流（如 --kube-api-qps=20、–kube-api-burst=30），配置 kube-reserved/system-reserved，减少资源争用导致的 NotReady。
- 版本与镜像管理：定期升级节点镜像与 Kubernetes 版本，采用蓝绿/金丝雀方式滚动更新节点池，降低变更风险。
- 安全与网络：统一使用 kubeconfig 管理凭据，避免误用 admin.conf；核对节点间与 API Server 的端口与防火墙策略，确保网络策略不阻断关键流量。