CentOS上Kubernetes的日志管理怎么做 - 问答

CentOS上Kubernetes日志管理方案设计与实施

一、日志来源梳理

Kubernetes集群的日志主要分为三类，需全面覆盖以确保可观测性：

容器内部日志：应用通过stdout/stderr输出的日志（K8s默认采集，存储于节点/var/log/containers/*.log）；
K8s组件日志：kubelet、kube-apiserver、kube-controller-manager等系统组件的日志（位于节点/var/log/kube-*目录）；
节点操作系统日志：宿主机的系统日志（如/var/log/messages、/var/log/syslog，记录节点级别的事件）。

二、常用日志收集方案

根据集群规模、存储成本及功能需求，选择合适的日志管理方案：

1. EFK Stack（Elasticsearch + Fluentd + Kibana）

适用场景：中大型集群、需要全文检索、复杂分析（如日志关键词搜索、聚合统计）及可视化。
组件职责：

Fluentd：以DaemonSet形式部署在每个节点，收集节点上的容器日志、K8s组件日志及操作系统日志，通过过滤插件（如kubernetes_metadata）添加元数据（命名空间、Pod名、容器名），再转发至Elasticsearch；
Elasticsearch：分布式搜索引擎，存储并索引日志数据，支持快速检索与聚合分析（生产环境需配置分片策略（热-温分层）、资源限制（避免内存溢出））；
Kibana：可视化工具，连接Elasticsearch实现日志 dashboard（如日志量趋势、错误日志占比、应用性能指标），支持自定义查询（如kubernetes.namespace: "default" AND log_level: "ERROR"）。
部署优化：
Fluentd DaemonSet需挂载宿主机的/var/log目录，确保访问所有日志文件；
Elasticsearch集群至少部署3个主节点，保证高可用；
为Fluentd设置资源限制（如0.5核CPU、512MB内存），避免日志洪峰导致节点崩溃。

2. Loki + Promtail（轻量级替代）

适用场景：中小规模集群、大规模日志量、低成本存储（无需索引，通过标签组织日志）。
组件职责：

Promtail：以DaemonSet形式部署，收集节点日志（/var/log/containers/*.log），通过解析插件（如提取level、message字段）处理日志，转发至Loki；
Loki：日志聚合系统，按标签（如namespace、pod_name、container_name）分类存储日志，而非全文索引，大幅降低存储开销；
Grafana：集成Loki实现日志查询（如{namespace="default", pod_name="my-app"}）及 dashboard 展示。
优势：资源占用低（Promtail内存占用约20MB），适合日志量大但对全文检索需求低的场景。

3. Filebeat + Elasticsearch + Kibana

适用场景：资源受限环境（如边缘节点）、已有Elasticsearch基础架构。
组件职责：

Filebeat：轻量级日志收集器，部署在每个节点，监控/var/log/containers/*.log文件变化，将日志转发至Elasticsearch（或通过Logstash预处理）；
Elasticsearch/Kibana：功能与EFK方案一致，负责日志存储与可视化。
优势：部署简单（Filebeat镜像体积小），资源占用低（内存占用约10-20MB）；支持多种输出目标（如Kafka、Logstash）。

三、日志收集实战步骤（以EFK为例）

1. 准备工作

确保CentOS系统已安装K8s集群（通过kubeadm部署）且运行正常；

安装Helm（K8s包管理工具）：

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

2. 部署Elasticsearch
使用Helm部署单节点Elasticsearch（生产环境建议用StatefulSet+多副本）：

helm repo add elastic https://helm.elastic.co
helm install elasticsearch elastic/elasticsearch \
  --namespace logging \
  --set replicas=1 \
  --set resources.requests.cpu="500m" \
  --set resources.requests.memory="2Gi"

3. 部署Fluentd
使用Helm部署Fluentd DaemonSet（收集节点日志并转发至Elasticsearch）：

helm repo add fluent https://fluent.github.io/helm-charts
helm install fluentd fluent/fluentd \
  --namespace logging \
  --set daemonset.enabled=true \
  --set elasticsearch.host="elasticsearch.logging.svc.cluster.local" \
  --set elasticsearch.port=9200

4. 部署Kibana
使用Helm部署Kibana（连接Elasticsearch并实现可视化）：

helm install kibana elastic/kibana \
  --namespace logging \
  --set elasticsearch.hosts=["elasticsearch.logging.svc.cluster.local:9200"] \
  --set service.type=LoadBalancer

获取Kibana的外部IP（kubectl get svc -n logging kibana），通过浏览器访问http://<IP>:5601进入可视化界面。

5. 验证日志收集

进入Kibana Discover页面，选择kubernetes.*索引模式，即可查看容器日志；
使用kubectl logs命令验证单个Pod日志：
```
kubectl logs -f <pod-name> -n <namespace>
```

四、日志管理最佳实践

标准化日志格式：建议应用以JSON格式输出日志（如{"timestamp":"2025-10-24T12:00:00Z","level":"INFO","message":"User logged in"}），便于Fluentd/Elasticsearch解析；
集中化部署：通过DaemonSet或Sidecar实现日志统一采集，避免分散存储（如Sidecar模式适合需要单独处理应用日志的场景，但资源占用较多）；
日志轮转与清理：使用logrotate工具防止日志文件无限增长（如Docker容器日志配置示例）：
```
/var/lib/docker/containers/*/*.log {
  daily
  rotate 7
  compress
  missingok
  notifempty
  copytruncate
}
```
监控与告警：使用Prometheus监控日志系统的性能指标（如Fluentd的内存使用率、Elasticsearch的索引速率），并通过Grafana设置告警规则（如日志量突增、Elasticsearch节点宕机）；
敏感数据过滤：在Fluentd或Filebeat中配置过滤规则，脱敏敏感信息（如银行卡号、密码），避免日志泄露。

0 赞

0 踩