centos k8s故障排查技巧

当Kubernetes（k8s）集群出现故障时，可以通过以下几个方面进行排查：

1. 审视集群状态

• 使用 kubectl get nodes 命令检查节点状态，确保所有节点状态为 Ready。如果有节点未能就绪或出现异常状态，可能会对应用程序造成故障。

2. 追踪事件日志

• 使用 kubectl get events 命令查看事件日志，深入了解集群中发生的事件。事件日志记录了与集群中重要事件和错误相关的信息，有助于定位问题。

3. 聚焦Pod状态

• 使用 kubectl get pods --all-namespaces 命令获取集群中所有Pod的状态。若有Pod未处于运行状态（例如挂起、错误或未就绪等），可以通过 kubectl describe pod <pod-name> -n <namespace> 获取特定Pod的详细信息，以便深入排查。

4. 检查网络连通性

• 确保网络连接正常。使用 kubectl get services 命令查看服务状态，使用 kubectl describe service <service-name> -n <namespace> 获取相关服务的详细信息。同时，验证网络策略和防火墙规则的正确配置。

5. 审视存储配置

• 如果应用程序使用持久性存储（例如Persistent Volumes和Storage Classes），务必确保存储配置正确。使用 kubectl get pv、kubectl get pvc 和 kubectl get storageclass 命令，获取与存储相关的信息。

6. 研究容器日志

• 使用 kubectl logs <pod-name> -n <namespace> 命令查看特定Pod中容器的日志输出。如果Pod内含多个容器，可以使用 kubectl logs -c <container-name> <pod-name> -n <namespace> 查看特定容器的日志。

7. 使用kubectl-debug进行调试

• kubectl-debug 是一个强大的kubectl插件，能够帮助进行Kubernetes上的Pod排障诊断。它通过启动一个排错工具容器，并将其加入到目标业务容器的pid、network、user以及ipc namespace中，使用户可以在新容器中使用netstat、tcpdump等工具进行问题排查。

8. 检查cgroup内存泄露问题

• 如果遇到 cannot allocate memory 或 no space left on device 错误，可能是内存泄露问题。可以通过查看 /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo 文件来检查是否存在内存泄露。

9. 检查节点资源使用情况

• 使用 kubectl top pod 和 kubectl top nodes 命令检查Pod和节点的资源使用情况，帮助定位资源不足的问题。

10. 检查网络策略

• 使用 kubectl get networkpolicies -n <namespace> 命令列出命名空间中的所有网络策略，并使用 kubectl describe networkpolicy <network-policy-name> -n <namespace> 查看一个网络策略的详细信息，确保网络策略配置正确。

通过以上步骤，可以系统地排查和解决CentOS上k8s集群的故障。根据具体问题的不同，可能还需要进一步深入排查或采取其他措施。