Kubernetes日志管理在Linux中如何实现 - 问答

Kubernetes 日志管理在 Linux 上的落地方案

一架构与原则

采用集群级日志架构：应用将日志写入stdout/stderr，由容器运行时（如 Docker）以JSON 文件方式落盘到节点目录（常见为**/var/log/containers/** 与 /var/lib/docker/containers/）；节点上运行日志代理（如 Fluentd/Filebeat/Vector）统一采集并发送到后端存储；后端进行索引/存储/检索，前端进行可视化与告警。Kubernetes 本身不提供持久化日志存储，需自建或采购后端。对于系统组件（运行在宿主机上的 kubelet、容器运行时等），在 systemd 系统上写入 journald，在无 systemd 的系统上写入 /var/log 文件，同样需要轮转与集中。

二采集与存储方案对比与选型

方案	采集方式	后端/存储	优点	适用场景
EFK（Elasticsearch + Fluentd + Kibana）	节点级 DaemonSet（Fluentd）采集 */var/log/containers/.log**	Elasticsearch + Kibana	生态成熟、全文检索强、可视化完善	需要复杂查询与分析的中大型集群
Loki + Grafana	节点级代理或客户端采集	Loki（对象存储友好） + Grafana	轻量、成本低、与 K8s 标签集成好	容器日志为主、强调成本与易用性
Fluent Bit + 外部存储	轻量代理（DaemonSet）	Elasticsearch/S3/Kafka 等	资源占用小、插件丰富	资源受限或边缘场景
应用直推	应用内集成 SDK	云日志服务/自建后端	架构简单、减少节点组件	云上托管、合规直传需求
说明：Fluentd 采集配置通常tail 容器日志文件、解析 JSON、附加 Kubernetes 元数据并写入后端；也可使用 Filebeat 或 Vector 替代 Fluentd。Loki 方案以标签索引替代倒排全文索引，整体成本更低。

三快速落地步骤 EFK 或 Loki

准备与前提
- 节点日志目录（如 /var/log/containers/、/var/lib/docker/containers/）可被日志代理以只读方式挂载；为代理配置必要的RBAC 权限以读取节点与 Pod 元数据。
方案 A EFK（Elasticsearch + Fluentd + Kibana）
1. 部署 Elasticsearch（建议 StatefulSet，设置资源与持久化）。
2. 部署 Fluentd DaemonSet，挂载节点日志目录，配置输入（tail 容器日志、解析 JSON）、Kubernetes 元数据过滤与输出（Elasticsearch）。示例片段： @type tail path /var/log/containers/*.log pos_file /var/log/fluentd-containers.log.pos tag kubernetes.* read_from_head true @type json time_key time time_format %Y-%m-%dT%H:%M:%S.%NZ @type kubernetes_metadata @type elasticsearch host elasticsearch.logging.svc.cluster.local port 9200 logstash_format true logstash_prefix kubernetes @type file path /var/log/fluentd-buffers/kubernetes.* flush_interval 5s chunk_limit_size 2M
3. 部署 Kibana，连接到 Elasticsearch，创建索引模式后即可检索与可视化。
方案 B Loki + Grafana
1. 部署 Loki（单实例或高可用模式）。
2. 部署 Promtail（节点级采集）或 Grafana Agent，采集 /var/log/containers/*.log 并打上 namespace/pod/container 等标签，发送至 Loki。
3. 在 Grafana 中添加 Loki 数据源，使用 LogQL 查询与构建仪表盘。

四节点与系统日志轮转

容器日志轮转
- 由容器运行时/节点代理负责轮转，Kubernetes 不负责。在生产中常见做法是基于 logrotate 对 /var/log/containers/ 与 /var/lib/docker/containers/ 进行按大小/时间轮转与压缩，示例：
  /var/log/containers//-json.log {
  create 0644 root root
  notifempty
  missingok
  copytruncate
  rotate 2
  size 5M
  }
  提示：不同发行版与容器运行时的日志路径可能略有差异，请以实际环境为准。
系统组件日志轮转
- 运行在宿主机上的组件（如 kubelet、容器运行时）在 systemd 系统上写入 journald，在无 systemd 的系统上写入 /var/log/*.log；建议使用 logrotate 或 journald 配置进行按日/按大小轮转与保留，避免磁盘被占满。

五日常运维与最佳实践

日志规范
- 应用优先输出到stdout/stderr；若写文件，尽量一个日志流一个文件，避免同一流中混入不同格式；多行日志（如 Java 堆栈）在采集端配置多行解析或在应用内格式化。
采集与缓冲
- 节点级代理以 DaemonSet 部署，每个节点 1 个实例；为代理配置资源限额与缓冲（如 file/内存缓冲、批量与回退策略），防止日志洪峰导致背压/OOM。
多租户与成本
- 使用索引/租户隔离与保留策略（如热/温/冷分层、对象存储归档），在 Elasticsearch 与 Loki 中均可按时间/大小策略清理旧数据。
快速排查命令
- 查看容器日志：kubectl logs -c ；实时查看：-f；上一个容器实例：–previous；多容器 Pod 需指定容器名。

0 赞

0 踩