K8s在Debian上的故障排查方法

在Debian上使用Kubernetes（K8s）时，故障排查是一个关键技能，可以帮助你快速定位并解决问题。以下是一些常用的故障排查方法：

审视集群状态

使用 kubectl get nodes命令来检查节点状态。如果有节点未能就绪或出现异常状态，可能会对应用程序造成故障。

追踪事件日志

通过 kubectl get events命令查看事件日志。事件日志记录了与集群中重要事件和错误相关的信息，有助于了解K8S组件或应用程序中存在的潜在故障。

聚焦Pod状态

运行 kubectl get pods --all-namespaces命令，获取集群中所有Pod的状态。若有Pod未处于运行状态（例如挂起、错误或未就绪等），可以使用 kubectl describe pod命令获取特定Pod的详细信息。

检查网络连通性

确保网络连接正常。审查服务、Pod和节点之间的网络通信是否存在问题。使用 kubectl get services命令查看服务状态，并使用 kubectl describe service获取相关服务的详细信息。

审视存储配置

如果应用程序使用持久性存储（例如Persistent Volumes和Storage Classes），确保存储配置正确。使用 kubectl get pv、kubectl get pvc和 kubectl get storageclass命令获取与存储相关的信息。

研究容器日志

使用 kubectl logs命令查看特定Pod中容器的日志输出。如果Pod内含多个容器，可以使用 kubectl logs -c来查看特定容器的日志。

使用 kubectl debug进行调试

当常规的 kubectl exec方法受限时，可以使用 kubectl debug在运行中的Pod中启动一个新的容器进行调试。这个新容器能够以不同的用户身份以及从选择的任何镜像去运行，与目标容器位于同一个Pod中，因此不需要绝对的隔离。

具体案例分析

例如，在处理Calico网络插件异常重启问题时，可以通过以下步骤进行排查：

1. 查看Calico事件信息：使用 kubectl -n kube-system describe pod calico-node-xx查看事件日志，找到Readiness probe failed和Liveness probe failed等关键信息。
2. 查看kubelet系统日志：使用 journalctl -u kubelet.service --since "2023-07-23 22:00:00"查看kubelet的系统日志，分析是否有关于进程创建的失败信息。
3. 检查监控大盘：查看Node-exporter监控大盘，分析进程相关的监控数据，确定是否有进程Forks异常增加。
4. 验证PID限制：检查当前用户的进程限制，确认是否超过了系统允许的最大PID数量。

通过上述方法，可以系统地排查K8s在Debian上的故障，并采取相应的措施进行修复。希望这些信息对你有所帮助！