centos部署k8s的日志如何管理

CentOS部署K8s的日志管理方案

一、常用日志管理工具与方案

1. EFK堆栈（Elasticsearch+Fluentd+Kibana）

EFK是K8s生态中最成熟的日志解决方案，适用于需要全文检索、复杂分析、可视化的场景。其组件分工明确：

• Elasticsearch：分布式搜索引擎，负责日志的存储、索引与快速检索；
• Fluentd：日志收集器（以DaemonSet形式部署在每个节点），负责从节点日志文件（如/var/log/containers/*.log）收集日志，进行格式化（如添加K8s元数据：命名空间、Pod名、容器名）后，转发至Elasticsearch；
• Kibana：可视化工具，通过连接Elasticsearch实现日志的查询、仪表盘展示（如请求量趋势、错误率统计）。
  部署时可通过Helm chart简化流程（如helm repo add elastic https://helm.elastic.co），并配置持久化存储（如NFS、云盘）以保证数据安全。

2. Loki+Promtail+Grafana

Loki是Grafana Labs推出的轻量级日志聚合系统，专为云原生设计，核心优势是低资源消耗、高扩展性。其组件分工如下：

• Loki：日志存储与索引（仅索引元数据，如标签、时间戳，不索引日志内容），降低存储成本；
• Promtail：日志收集器（以DaemonSet形式部署），收集节点日志并发送至Loki；
• Grafana：可视化工具，通过Loki数据源实现日志查询、仪表盘展示（可与Prometheus集成实现日志+指标联动）。
  部署时可通过helm repo add grafana https://grafana.github.io/helm-charts添加仓库，一键安装Loki Stack，并开启持久化存储（如S3、NFS）。

3. Filebeat

Filebeat是Elastic公司推出的轻量级日志收集器，适用于简单日志转发场景（如仅需将日志发送至Elasticsearch）。其特点包括：

• 资源占用低（比Fluentd更轻量）；
• 支持多种输入源（容器日志、系统日志、文件日志）；
• 可配置过滤规则（如仅收集ERROR级别日志）。
  部署时需编写配置文件（filebeat.yml），指定输入路径（如/var/log/containers/*.log）、输出目标（如Elasticsearch地址），并通过DaemonSet部署在每个节点。

4. Journalctl（系统日志查看）

对于系统级日志（如kubelet、容器运行时、内核日志），可使用journalctl命令查看与管理。常用操作包括：

• 查看最近系统日志：journalctl -b；
• 按时间过滤：journalctl --since "2025-10-20 00:00:00" --until "2025-10-20 23:59:59"；
• 按优先级过滤（如仅查看ERROR日志）：journalctl -p err；
• 查看特定服务的日志：journalctl -u kubelet.service。

二、日志收集策略

1. DaemonSet部署

通过DaemonSet在每个节点上运行一个日志收集器（如Fluentd、Promtail），收集该节点上所有Pod的日志（从/var/log/containers/*.log读取）。这种方式的优点是覆盖全面（不会遗漏节点上的任何Pod日志），缺点是资源占用较高（每个节点都有一个Agent）。

2. Sidecar容器

将与主应用共享Pod的辅助容器（如Fluentd、Filebeat）作为Sidecar，收集主应用的日志。这种方式的优点是日志收集更贴近应用（可直接读取应用日志文件，无需依赖节点日志），缺点是增加了Pod的资源消耗（每个Pod多一个容器）。

3. 应用日志输出规范

建议应用将日志输出到stdout/stderr（而非文件），这样K8s会自动捕获并写入节点的/var/log/containers/目录（格式为<namespace>_<pod-name>_<container-name>_<hash>.log）。同时，建议使用结构化日志（如JSON格式），便于后续解析与分析（如提取日志中的字段：{"level":"error","message":"connection timeout","service":"payment"}）。

三、日志存储方案

1. 本地存储

将日志存储在节点的本地文件系统（如/var/log/k8s-logs/），适用于小规模集群或测试环境。优点是访问速度快，缺点是扩展性差（磁盘空间有限，无法应对大规模日志）。

2. 远程存储

将日志存储在远程存储系统（如NFS、S3、GCS），适用于生产环境。优点是扩展性强（可根据需求扩容）、可靠性高（数据冗余备份），缺点是增加了网络开销（需将日志传输至远程存储）。例如，Elasticsearch可配置NFS存储路径，Loki可配置S3存储桶。

3. 归档策略

为控制存储成本，需制定日志归档策略：

• 短期保留（如7天）：存储在高速存储（如本地SSD、Elasticsearch热节点）；
• 长期归档（如30天以上）：将日志迁移至低成本存储（如S3 Glacier、NFS冷存储）；
• 清理过期日志：使用logrotate工具自动清理本地日志（如保留7天内的日志，压缩旧日志）。

四、日志分析与可视化

1. Kibana（EFK方案）

Kibana是EFK方案的核心可视化工具，可实现：

• 日志查询：通过KQL（Kibana Query Language）查询日志（如k8s.namespace:"default" AND log.level:"error"）；
• 仪表盘：创建可视化仪表盘（如请求量趋势、错误率统计、Top 10错误日志）；
• 告警：通过Kibana Alerting设置告警规则（如当错误日志数量超过阈值时，发送邮件/Slack通知）。

2. Grafana（Loki方案）

Grafana与Loki集成，可实现：

• 日志查询：通过Loki查询语言（LogQL）查询日志（如{namespace="default", pod="myapp-pod"} |= "error"）；
• 仪表盘：与Prometheus联动，展示日志+指标的组合仪表盘（如请求量与错误率的关联趋势）；
• 告警：通过Grafana Alerting设置告警规则（如当错误日志数量超过阈值时，触发告警）。

五、日志轮转与清理

使用logrotate工具自动管理日志文件的轮转、压缩与清理，避免日志文件过大占用磁盘空间。示例配置（/etc/logrotate.d/k8s-logs）：

/var/log/containers/*.log {
    daily           # 每天轮转
    rotate 7        # 保留7个备份
    compress        # 压缩旧日志（如.gz格式）
    delaycompress   # 延迟压缩（避免压缩当天日志）
    missingok       # 如果日志文件不存在，不报错
    notifempty      # 如果日志为空，不轮转
    copytruncate    # 复制日志文件后清空原文件（避免应用中断）
}

该配置会每天轮转/var/log/containers/目录下的日志文件，保留最近7天的压缩日志。

六、最佳实践

1. 日志分类：按日志来源（如应用日志、系统日志、审计日志）分类存储，便于后续分析；
2. 结构化日志：使用JSON格式记录日志，包含必要字段（如时间戳、日志级别、服务名、请求ID），便于解析；
3. 监控与告警：使用Prometheus监控日志系统的性能（如Elasticsearch的索引速率、磁盘空间），并设置告警规则（如磁盘空间不足时通知运维）；
4. 权限控制：限制日志系统的访问权限（如Kibana仅允许运维人员访问），避免敏感信息泄露。