在CentOS上部署和运行Kubernetes（k8s）时，可能会遇到各种故障。以下是一些常见的故障排查步骤和解决方法：
1. 检查集群状态
- 使用
kubectl get nodes 命令检查所有节点的状态，确认是否有节点未能就绪或出现异常状态。
- 使用
kubectl get pods --all-namespaces 命令获取所有Pod的状态，特别关注那些未处于运行状态（如挂起、错误或未就绪）的Pod。
- 使用
kubectl describe node <node-name> 查看节点的详细信息。
2. 查看事件日志
- 使用
kubectl get events 命令查看集群中的事件，深入了解与集群中重要事件和错误相关的信息。
3. 检查组件日志
- kubelet: 检查节点上的kubelet服务状态和日志。
systemctl status kubelet
journalctl -u kubelet -f
- kube-proxy: 查看kube-proxy的日志。
journalctl -u kube-proxy -f
- API Server: 查看API Server的日志。
journalctl -u kube-apiserver -f
- Controller Manager: 查看Controller Manager的日志。
journalctl -u kube-controller-manager -f
- Scheduler: 查看Scheduler的日志。
journalctl -u kube-scheduler -f
4. 检查网络配置
- 确保所有节点之间的网络连接正常。
- 使用
ping 和 traceroute 命令检查网络连通性。
- 检查CNI插件（如Calico、Flannel）的配置和状态。
5. 检查存储配置
- 确保PersistentVolume和PersistentVolumeClaim正确配置并绑定。
- 检查存储后端（如NFS、Ceph）的状态。
6. 检查资源限制
- 使用
kubectl top nodes 和 kubectl top pods --all-namespaces 查看资源使用情况。
- 确保没有节点或Pod因为资源不足而无法正常运行。
7. 检查Kubernetes版本兼容性
- 确保所有组件和插件的版本兼容。
- 查看Kubernetes官方文档中的版本兼容性矩阵。
8. 使用诊断工具
- kubeadm reset: 重置Kubernetes集群到初始状态。
- kubectl debug: 创建一个调试Pod来诊断问题。
- kubectl exec: 进入Pod内部执行命令进行调试。
9. 检查系统日志
- 使用
dmesg 查看内核日志。
- 使用
/var/log/messages 或 /var/log/syslog 查看系统日志。
10. 更新和重启服务
- 确保所有Kubernetes服务和相关依赖项都是最新的。
- 重启Kubernetes服务和相关组件。
11. 使用专用工具
- kubectl-debug: 在运行中的Pod中启动一个新的调试容器，以便进行更深入的故障排查。
- Node Problem Detector (NPD): 检测节点级别的异常状态，并将问题上报至Kubernetes事件系统或Node Condition。
12. 参考官方文档和社区资源
- 查阅Kubernetes官方文档中的故障排除指南。
- 在Kubernetes社区论坛和Stack Overflow上寻求帮助。
通过上述方法和工具，可以系统地对Kubernetes集群进行故障排查，快速定位并解决问题，确保系统的稳定运行。