在CentOS上排查Kubernetes(k8s)故障可以通过以下步骤进行:
检查节点状态:
使用 kubectl get nodes
命令来检查各个节点的状态,确认是否有节点未能就绪或出现异常状态。
查看事件日志:
使用 kubectl get events
命令查看集群中发生的事件,深入了解与集群中重要事件和错误相关的信息。
检查Pod状态:
使用 kubectl get pods --all-namespaces
命令获取所有Pod的状态,并通过 kubectl describe pod pod_name
获取特定Pod的详细信息。
检查网络连通性:
使用 kubectl get services
命令查看服务状态,并验证网络策略和防火墙规则的正确配置。
审视存储配置:
使用 kubectl get pv
, kubectl get pvc
, 和 kubectl get storageclass
命令检查存储卷声明、存储类和持久卷的状态。
研究容器日志:
使用 kubectl logs pod_name -c container_name
命令查看特定Pod中容器的日志输出。
kubectl
插件,通过启动一个调试工具容器,并将其加入到目标业务容器的pid、network、user以及ipc namespace中,使用netstat、tcpdump等工具进行故障排查。网络问题排查:
测试节点之间的连通性,例如通过ping命令测试节点间的网络连接。使用 kubectl describe pod pod_name
查看Pod的网络配置和事件。
应用程序故障排查:
针对Pod级别的故障,使用 kubectl describe pod pod_name
查看Pod的事件和状态。使用 kubectl logs pod_name -c container_name
查看容器的日志,定位问题。
识别OOMKilled:
在Pod状态中发现 OOMKilled
,表示Pod因内存不足被系统杀掉。
分类排查:
使用工具诊断:
使用 kubectl logs
查看Pod日志,分析内存使用情况和可能的内存泄漏。
使用 kubectl describe pod
查看Pod的详细信息,包括资源请求和限制。
通过上述方法和工具,可以系统地对Kubernetes集群进行故障排查,快速定位并解决问题,确保系统的稳定运行。