Linux K8S如何进行故障排查

在Linux Kubernetes（K8S）环境中进行故障排查，可以遵循以下步骤和策略：

1. 收集信息

• 查看Pod状态：

  kubectl get pods --all-namespaces
  

• 查看节点状态：

  kubectl get nodes
  

• 查看事件日志：

  kubectl get events --sort-by=.metadata.creationTimestamp
  

2. 分析日志

• Pod日志：

  kubectl logs <pod-name> -n <namespace>
  

• 容器日志：

  kubectl logs <pod-name> -c <container-name> -n <namespace>
  

• 事件日志：

  kubectl describe pod <pod-name> -n <namespace>
  

3. 检查资源使用情况

• CPU和内存使用：

  kubectl top pod -n <namespace>
  kubectl top node
  

• 存储使用：

  kubectl describe pvc <pvc-name> -n <namespace>
  

4. 网络问题排查

• 检查网络策略：

  kubectl get networkpolicy -n <namespace>
  

• 检查服务发现：

  kubectl get svc -n <namespace>
  

• 检查Ingress控制器：

  kubectl get ingress -n <namespace>
  

5. 检查配置和部署

• 检查Deployment和ReplicaSet：

  kubectl get deployment -n <namespace>
  kubectl get rs -n <namespace>
  

• 检查ConfigMap和Secrets：

  kubectl get configmap -n <namespace>
  kubectl get secrets -n <namespace>
  

6. 使用诊断工具

• kubectl exec： 进入Pod内部执行命令进行诊断。

  kubectl exec -it <pod-name> -c <container-name> -- /bin/sh
  

• kubectl debug： 创建一个调试Pod来诊断现有Pod的问题。

  kubectl debug -it <pod-name> -n <namespace> --image=busybox --target=<container-name>
  

7. 查看Kubernetes事件

• 查看所有事件：

  kubectl get events --all-namespaces
  

• 查看特定命名空间的事件：

  kubectl get events --namespace=<namespace>
  

8. 检查Kubernetes组件状态

• 检查API Server：

  systemctl status kube-apiserver
  

• 检查Controller Manager：

  systemctl status kube-controller-manager
  

• 检查Scheduler：

  systemctl status kube-scheduler
  

• 检查etcd：

  etcdctl member list
  etcdctl get <key>
  

9. 查看Kubernetes版本和配置

• 查看Kubernetes版本：

  kubectl version
  

• 查看Kubernetes配置：

  cat /etc/kubernetes/admin.conf
  

10. 使用第三方工具

• Prometheus和Grafana：用于监控和可视化。
• ELK Stack：用于日志管理和分析。
• Jaeger或Zipkin：用于分布式追踪。

注意事项

• 逐步排查：从最简单的问题开始，逐步深入。
• 记录日志：在排查过程中记录所有操作和发现的信息。
• 备份配置：在进行重大更改之前，确保备份所有重要配置。

通过以上步骤和策略，可以有效地进行Linux Kubernetes环境的故障排查。