Kubernetes在Debian上的日志管理策略

Kubernetes 在 Debian 上的日志管理策略

一 日志来源与采集路径

• 节点与系统组件日志：在 Debian 上，kubelet、kube-proxy 等以 systemd 运行，使用 journald 记录；通过 journalctl -u kubelet -f、journalctl -u kube-proxy -f 实时查看。此类日志适合用 Fluentd/Filebeat 的 systemd/journal 插件采集。
• 容器标准输出与错误：容器运行时将 stdout/stderr 写入节点的容器日志文件，典型路径为 /var/log/containers/（软链接到 /var/log/pods/ 下具体容器日志），适合以 DaemonSet 在每个节点 tail 采集。
• 应用文件日志：业务应用写入容器内的 /var/log/ 或挂载卷，可采用 Sidecar 容器读取并发送到后端，或直接写入 stdout 由节点采集器统一处理。
• 审计日志：开启 Kubernetes 审计 后，审计事件写入 apiserver 的日志或专用后端，建议单独采集与长期保留。

二 集中化存储与可视化选型

• EFK（Elasticsearch + Fluentd + Kibana）：Fluentd 负责采集与过滤，Elasticsearch 负责存储与检索，Kibana 负责查询与可视化；适合需要强大全文检索与聚合分析的场景。
• Loki + Promtail + Grafana：Promtail 在节点采集 /var/log/containers/ 与 systemd 日志，Loki 以标签索引降低成本，Grafana 统一查询与面板展示；适合 轻量级、云原生 环境。
• 采集器选择：节点侧优先 Fluentd/Filebeat 的 DaemonSet 部署；如需对特定应用做特殊格式化或路由，可使用 Sidecar 模式。

三 在 Debian 节点的落地配置要点

• journald 采集（Fluentd 示例）
  • 输入插件：使用 systemd/journal，设置 SystemdUnit=kubelet.service 等，读取 journald 日志并打上 k8s 元信息标签。
  • 输出插件：指向 Elasticsearch 或 Loki（通过 fluent-plugin-elasticsearch 或 fluent-plugin-loki）。
• 容器日志采集（Fluentd 示例）
  • 输入源：tail /var/log/containers/*.log，使用 pos_file 记录读取位点，解析 json 日志行并提取 time、stream、kubernetes 等字段。
  • 过滤与路由：按 namespace、pod、container、level 等标签做路由与脱敏，再输出到后端存储。
• 资源与挂载
  • 以 DaemonSet 部署，设置 hostNetwork: true 或合适的 dnsPolicy，挂载 /var/log、/var/lib/docker/containers（或 containerd 的 /var/log/pods 与 /var/lib/containerd）与 /run/systemd/journal；为 Fluentd 配置 requests/limits，避免占用过多节点资源。
• 快速验证
  • 查看采集器日志：kubectl logs -n kube-system daemonset/fluentd -f
  • 检查索引/标签：ES 访问 /_cat/indices 或 Loki 查询 {job=“kubernetes-pods”} 是否收到数据。

四 日志轮换与保留策略

• 节点侧日志轮换：对 /var/log/ 使用 logrotate 定期压缩与清理，控制单个日志文件大小与保留天数，避免磁盘被占满。
• 容器运行时日志：配置 kubelet 的 –container-log-max-size 与 –container-log-max-files（如 100MB、5），限制容器日志体积与数量。
• 后端存储保留：在 Elasticsearch 设置 Index Lifecycle Management（ILM） 或 Index Templates 控制热/温/冷与删除策略；在 Loki 配置 retention_period（如 7–30 天）与 compactor 降低存储占用。

五 安全、合规与运维实践

• 访问控制与加密：对 Elasticsearch/Kibana、Loki/Grafana 启用 RBAC 与 TLS/mTLS，对外暴露最小化，敏感字段脱敏后再写入后端。
• 日志级别与结构化：生产环境将应用日志级别控制在 INFO/WARN/ERROR，统一 JSON 输出，便于检索与聚合。
• 审计与合规：启用 Kubernetes 审计策略，将审计日志单独采集与长期保留，满足等保/合规要求。
• 监控与告警：为采集器与后端设置 健康检查 与 指标监控（如 Fluentd 缓冲队列、ES 集群健康、Loki 写入延迟），在 Grafana 配置面板并设置阈值告警。