在CentOS上排查Kubernetes（k8s）故障时，可以遵循以下步骤：
1. 检查Kubernetes集群状态
- 使用
kubectl get nodes检查节点状态。
- 使用
kubectl get pods --all-namespaces查看所有Pod的状态。
- 使用
kubectl describe pod <pod-name>获取特定Pod的详细信息。
2. 查看Kubernetes组件日志
- kubelet：检查节点上的kubelet服务状态和日志。
systemctl status kubelet
journalctl -u kubelet -f
- kube-proxy：查看kube-proxy的日志。
journalctl -u kube-proxy -f
- API Server：查看API Server的日志。
journalctl -u kube-apiserver -f
- Controller Manager：查看Controller Manager的日志。
journalctl -u kube-controller-manager -f
- Scheduler：查看Scheduler的日志。
journalctl -u kube-scheduler -f
3. 检查网络配置
- 确保所有节点之间的网络连接正常。
- 使用
ping和traceroute命令检查网络连通性。
- 检查CNI插件（如Calico、Flannel）的配置和状态。
4. 检查存储配置
- 确保PersistentVolume和PersistentVolumeClaim正确配置并绑定。
- 检查存储后端（如NFS、Ceph）的状态。
5. 检查资源限制
- 使用
kubectl top nodes和kubectl top pods --all-namespaces查看资源使用情况。
- 确保没有节点或Pod因为资源不足而无法正常运行。
6. 检查Kubernetes版本兼容性
- 确保所有组件和插件的版本兼容。
- 查看Kubernetes官方文档中的版本兼容性矩阵。
7. 使用诊断工具
- kubeadm reset：重置Kubernetes集群到初始状态。
- kubectl debug：创建一个调试Pod来诊断问题。
- kubectl exec：进入Pod内部执行命令进行调试。
8. 检查系统日志
- 使用
dmesg查看内核日志。
- 使用
/var/log/messages或/var/log/syslog查看系统日志。
9. 更新和重启服务
- 确保所有Kubernetes服务和相关依赖项都是最新的。
- 重启Kubernetes服务和相关组件。
10. 参考官方文档和社区资源
- 查阅Kubernetes官方文档中的故障排除指南。
- 在Kubernetes社区论坛和Stack Overflow上寻求帮助。
通过以上步骤，可以逐步排查并解决CentOS上Kubernetes集群的故障。记得在操作过程中备份重要数据，并谨慎执行可能影响集群稳定性的命令。