在 CentOS 上监控 Kubernetes 集群的可落地方案
一 快速巡检与命令行监控
- 节点与组件健康
- 查看节点状态：kubectl get nodes；若状态不是 Ready，用 kubectl describe node 定位问题。
- 查看系统组件与事件：kubectl get pods -n kube-system；kubectl get events --sort-by=.metadata.creationTimestamp。
- 工作负载状态
- 全命名空间查看 Pod：kubectl get pods --all-namespaces；关注 CrashLoopBackOff/Error/ImagePullBackOff 等状态。
- 资源使用：kubectl top nodes；kubectl top pods --all-namespaces。
- 节点服务与内核日志
- 检查 kubelet：systemctl status kubelet；journalctl -u kubelet -f
- 内核与系统日志：dmesg；/var/log/messages 或 /var/log/syslog。
二 指标监控 Prometheus + Grafana
-
组件分工
- cAdvisor：内置于 kubelet，采集节点与容器的 CPU、内存、网络、文件系统 使用；无需单独部署。
- Node Exporter：采集节点级系统指标（磁盘、网络等），以 DaemonSet 方式部署在各节点。
- kube-state-metrics：从 API Server 获取集群对象（Deployment、StatefulSet、Pod 等）的状态指标，用于容量与合规观测。
- Metrics Server：为 HPA/VPA/Cluster Autoscaler 提供资源使用聚合数据（如 CPU/内存），是调度与扩缩容的基础。
- Prometheus：拉取上述目标指标并存储；Grafana 做可视化与告警面板。
-
快速部署（推荐 Helm）
- 添加仓库并安装 kube-prometheus-stack（包含 Prometheus Operator、Prometheus、Alertmanager、Grafana、Node Exporter、kube-state-metrics 等）：
- helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
- helm repo update
- helm install prometheus prometheus-community/kube-prometheus-stack --namespace monitoring --create-namespace
- 外部访问示例（NodePort）：
- kubectl patch svc prometheus-grafana -n monitoring -p ‘{“spec”: {“type”: “NodePort”, “ports”: [{“port”: 80, “targetPort”: 3000, “nodePort”: 30100}]}}’
- kubectl patch svc prometheus-k8s -n monitoring -p ‘{“spec”: {“type”: “NodePort”, “ports”: [{“port”: 9090, “targetPort”: 9090, “nodePort”: 30200}]}}’
- 登录 Grafana（默认账号/密码通常为 admin/admin），添加数据源 Prometheus（地址如：http://prometheus-k8s.monitoring.svc.cluster.local:9090），导入常用面板（如 Kubernetes / Compute Resources / Cluster 模板 ID 8588）。
三 日志与可视化
- 日志方案
- EFK（Elasticsearch + Fluentd/Logstash + Kibana）：集中采集容器与节点日志，支持关键字检索、聚合分析与可视化。
- Elastic Stack Beats：在集群中部署 Filebeat/Metricbeat，将日志与指标推送到 Elasticsearch，在 Kibana 中查看与构建仪表板。
- 可视化与告警
- Grafana 用于指标可视化与阈值告警（如节点 CPU/内存 持续高占用、Pod 重启次数 异常等），可结合 Alertmanager 发送邮件/企业微信/钉钉通知。
四 关键指标与告警示例
- 建议重点观测与告警
- 节点资源：节点 CPU/内存/磁盘 使用率持续超过阈值（如 80% 持续 5 分钟）；节点 NotReady。
- 工作负载：Pod CrashLoopBackOff、OOMKilled、ImagePullBackOff；Deployment/StatefulSet 副本不可用。
- 控制面：API Server 请求延迟/错误率 升高；etcd 存储与 leader 健康异常。
- 网络：跨节点 Pod 连通性 异常；Service Endpoints 为空；Ingress 5xx 增多。
- 存储：PVC 长时间 Pending；Volume 挂载失败；本地/远端存储不可用。
- 快速验证抓取链路
- 确认 cAdvisor 指标：在 Prometheus 查询容器指标（如 container_cpu_usage_seconds_total），来源应为 kubelet 10250 端点（cAdvisor 已集成于 kubelet）。
- 确认 Node Exporter 与 kube-state-metrics 目标被 Prometheus 发现并 UP。
五 安全与网络访问建议
- 暴露方式：生产优先 Service 类型为 ClusterIP，通过 Ingress 或 内部 LoadBalancer 访问；临时测试可用 NodePort，并限制来源 IP。
- 认证与授权：为 Grafana/Prometheus 配置最小权限 RBAC；对外接口启用 TLS。
- 合规与加固：限制 kubelet 10250 的访问范围（如仅允许 apiserver 与监控采集器），定期轮换 Bearer Token/证书。