centos k8s故障排查方法有哪些

CentOS环境下Kubernetes（k8s）故障排查方法

以下是针对CentOS系统上Kubernetes集群的系统性故障排查流程，涵盖从集群状态到具体组件的多个维度：

1. 检查集群整体状态

首先确认集群基础状态是否正常，这是排查故障的第一步：

• 查看节点状态：使用kubectl get nodes命令，确保所有节点处于Ready状态（若节点为NotReady，需进一步检查kubelet服务）；
• 查看Pod状态：使用kubectl get pods --all-namespaces，关注Pending（调度失败）、Error（运行错误）、CrashLoopBackOff（容器反复崩溃）等异常状态的Pod。

2. 查看组件与集群事件日志

• 集群事件：使用kubectl get events --sort-by=.metadata.creationTimestamp查看集群近期事件（如Pod调度失败、节点资源不足等），事件会记录故障的关键线索；
• 组件日志：通过journalctl查看Kubernetes核心组件的日志，定位具体错误：
  • journalctl -u kubelet -f（kubelet服务日志，涉及Pod生命周期管理）；
  • journalctl -u kube-proxy -f（kube-proxy服务日志，涉及网络转发）；
  • journalctl -u kube-apiserver -f（API Server日志，涉及集群控制平面操作）。

3. 检查网络配置与连通性

网络问题是Kubernetes常见故障类型，需重点排查：

• 节点间连通性：使用ping <node-ip>测试节点之间网络是否通畅；
• 网络策略与防火墙：使用iptables -L检查防火墙规则，确保Kubernetes相关端口（如6443/API Server、10250/kubelet）未被阻止；
• CNI插件状态：若使用Calico、Flannel等CNI插件，通过kubectl get pods -n kube-system查看插件Pod是否正常运行（状态应为Running）。

4. 检查存储配置与挂载

存储问题会导致Pod无法启动或数据丢失，需确认：

• PV/PVC状态：使用kubectl get pv（持久卷）、kubectl get pvc（持久卷声明），确保PVC已绑定PV且状态为Bound；
• StorageClass配置：使用kubectl get storageclass检查存储类是否正确配置（如默认存储类是否存在）；
• 存储后端健康：若使用NFS、Ceph等外部存储，检查存储服务是否正常运行（如systemctl status nfs-server）。

5. 检查资源使用与限制

资源不足是Pod异常的常见原因，需监控节点与Pod的资源使用情况：

• 节点资源：使用kubectl top nodes查看节点CPU、内存使用率；使用free -g（内存）、df -h（磁盘）确认系统资源是否充足；
• Pod资源：使用kubectl describe pod <pod-name>查看Pod的资源请求（requests）与限制（limits），若资源不足，需调整配置或扩容节点。

6. 查看容器与应用日志

容器日志能直接反映应用运行状态，需精准定位：

• Pod日志：使用kubectl logs <pod-name> -n <namespace>查看Pod内主容器日志；若Pod有多个容器，需指定容器名（kubectl logs <pod-name> -c <container-name> -n <namespace>）；
• 实时日志：添加-f参数实时跟踪日志输出（如kubectl logs -f <pod-name>）；
• 容器内调试：若需进入容器内部排查，使用kubectl exec -it <pod-name> -n <namespace> -- /bin/bash（若容器无bash，可替换为sh）。

7. 使用调试工具深入排查

• 调试Pod：使用kubectl debug命令创建临时调试Pod，进入容器环境检查问题（如kubectl debug -it <pod-name> --image=busybox --target=<container-name>）；
• 节点问题检测：安装node-problem-detector（Kubernetes官方工具），监控节点内核错误、硬件故障等问题，并通过Event上报。

8. 检查版本兼容性

Kubernetes组件版本不兼容会导致集群异常，需确认：

• 使用kubectl version查看客户端与服务端版本；
• 参考Kubernetes官方文档中的版本兼容性矩阵，确保kubelet、kube-apiserver、kube-controller-manager等组件版本匹配。

9. 系统级排查

• 系统日志：使用dmesg -T查看内核日志（-T参数显示人类可读时间），检查是否有与Kubernetes相关的内核错误（如网络驱动问题）；
• 系统资源：使用top（CPU）、free -m（内存）、iotop（磁盘IO）监控系统资源，排除系统级瓶颈。

10. 参考官方与社区资源

• 官方文档：查阅Kubernetes官方故障排除指南（如troubleshooting文档），获取针对性解决方案；
• 社区资源：在Kubernetes社区论坛、Stack Overflow等平台搜索类似问题，或发布问题寻求帮助（需提供详细的故障现象、日志信息）。

以上方法覆盖了CentOS环境下Kubernetes故障排查的全流程，可根据具体故障现象选择对应步骤逐步定位问题。操作前建议备份重要数据（如/etc/kubernetes目录），避免误操作影响集群稳定性。