centos k8s故障排查指南

在CentOS上部署Kubernetes（k8s）并进行故障排查时，可以遵循以下步骤：

检查集群状态

• 使用 kubectl get nodes 命令检查节点状态，确保所有节点正常运行。
• 检查etcd、kubelet和kube-proxy等关键组件的状态。

查看Pod状态

• 使用 kubectl get pods --all-namespaces 命令获取所有Pod的状态。
• 对于未处于运行状态的Pod，使用 kubectl describe pod <pod_name> 查看详细信息。

检查事件日志

• 使用 kubectl get events 命令查看集群中发生的事件，这些事件可能包含有关故障的线索。

检查系统资源

• 检查内存使用状态：free -g
• 查询并计算物理CPU数量：cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
• 检测系统盘IO性能：使用 dd 命令测试4k小文件读写速度。

查看日志文件

• 查看Kubernetes组件的日志：journalctl -xe | grep kubelet
• 查看系统日志：tail -f /var/log/messages
• 查看开机信息、内核信息、硬件问题等：dmesg -T
• 查看数据库错误日志：tail -f /sysvol/mariadb/mariadb_data/mysql-error.log

解决内存泄露问题

• 如果出现 cannot allocate memory 或 no space left on device 错误，检查是否存在内存泄露。
• 查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件，判断是否存在内存泄露。

解决网络问题

• 如果遇到网络问题，考虑升级CentOS内核版本。
• 使用 ping 命令测试节点之间的网络连接。
• 检查网络插件（如Calico、Flannel）的配置和状态。

检查存储配置

• 确保Persistent Volumes和Storage Classes配置正确。
• 使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令检查存储相关状态。

研究容器日志

• 使用 kubectl logs <pod_name> -c <container_name> 查看特定Pod中容器的日志输出。

使用专用工具进行故障排查

• kubectl-debug：进入正在运行的Pod进行调试。
• Node Problem Detector (NPD)：检测节点级别的异常状态。
• KubeNurse：监控Kubernetes集群网络的工具。

参考官方文档和社区资源

• 查阅Kubernetes官方文档中的故障排除指南。
• 在Kubernetes社区论坛和Stack Overflow上寻求帮助。

通过以上步骤，可以系统地排查和解决在CentOS上部署的Kubernetes集群可能遇到的故障。根据具体情况，可能还需要进一步调查或采取其他措施。