Ubuntu上Kubernetes日志管理技巧
1. 日志收集：选择合适的工具与架构
在Ubuntu节点上，Kubernetes日志收集的核心是通过DaemonSet或Sidecar模式部署日志代理，确保节点上所有容器、Kubernetes组件（如kubelet）及节点系统日志的全面采集。
- DaemonSet模式：推荐使用Fluentd或Filebeat作为日志收集器，通过在每个节点上运行一个副本，监控
/var/log/containers目录（容器标准输出的日志路径），并将日志转发至中央存储。例如，Fluentd的DaemonSet配置可通过ConfigMap定义日志格式与转发目标（如Elasticsearch），确保日志的集中化。
- Sidecar模式：针对需要定制化日志处理的场景（如Java应用的多行日志解析），在Pod中部署Sidecar容器（如Filebeat），与主应用共享存储卷，直接收集主容器的日志。这种方式适合对日志格式有特殊要求的业务场景。
2. 日志存储：根据需求选择合适的系统
日志存储需兼顾性能、成本、扩展性，常见方案如下：
- Elasticsearch：适合需要全文检索、复杂聚合分析的场景（如故障排查、用户行为分析）。需部署StatefulSet保证数据持久性，配置分片与副本提升可用性，同时通过ILM（Index Lifecycle Management）策略自动管理日志索引的生命周期（如滚动、删除）。
- Loki：轻量级日志聚合系统，专为Kubernetes设计，资源消耗低且与Prometheus无缝集成，适合监控与日志统一管理的场景。通过标签（如
namespace、pod_name）索引日志，支持快速过滤与查询。
- 对象存储：对于长期归档的非热数据（如30天以上的日志），可将日志存储至S3或MinIO等对象存储，降低成本的同时保证数据安全。
3. 日志分析与可视化：实现日志价值转化
- EFK Stack（Elasticsearch+Fluentd+Kibana）：Kibana作为可视化工具，可对接Elasticsearch中的日志数据，通过Dashboard展示集群状态、应用性能指标（如请求延迟、错误率），支持实时查询与告警配置。
- Grafana：支持Loki、Prometheus等多种数据源，适合统一监控与日志分析。通过Grafana的Explore功能，可编写 PromQL 或 Loki 查询语句，分析日志中的异常模式（如频繁的ERROR日志）。
4. 日志轮转与归档：防止磁盘空间耗尽
- 容器日志轮转：通过Kubernetes的
json-file日志驱动配置日志大小与数量限制，例如在Pod的logging字段中设置max-size: "10m"（单个日志文件最大10MB）、max-file: "3"（保留3个日志文件），避免单个容器日志过大。
- 节点级日志轮转：使用
logrotate工具对/var/log/containers目录下的日志文件进行轮转，配置daily（每日轮转）、rotate 7（保留7天）、compress（压缩旧日志）等参数，减少磁盘占用。
5. 日志安全：保护敏感信息
- 传输加密：使用TLS加密日志传输通道（如Fluentd到Elasticsearch的通信），防止日志在传输过程中被窃取。
- 访问控制：通过Kubernetes的RBAC（基于角色的访问控制）限制日志系统的访问权限，例如仅允许运维人员访问Kibana或Elasticsearch的敏感索引。
- 敏感信息脱敏：在日志收集器（如Fluentd）中配置过滤器，对日志中的敏感信息（如银行卡号、密码）进行替换或删除，避免敏感数据泄露。
6. 日志监控与告警：及时发现问题
- 日志监控：使用Prometheus收集日志系统的指标（如Elasticsearch的索引速率、Filebeat的采集延迟），通过Grafana展示监控仪表盘，实时掌握日志系统的运行状态。
- 告警配置：基于日志内容或系统指标设置告警规则，例如当Elasticsearch的磁盘使用率超过80%时触发告警，或当应用日志中出现
ERROR关键字时发送邮件通知运维人员，实现问题的早期发现与处理。
以上技巧覆盖了Ubuntu上Kubernetes日志管理的采集、存储、分析、安全、监控全流程，可根据集群规模（如小规模集群用EFK，大规模集群用Loki）、业务需求（如是否需要复杂分析）灵活调整。