Ubuntu 上 Filebeat 存储空间优化指南

一 清理被删除但仍被占用的文件句柄

• 现象与风险：应用或定时任务删除旧日志后，若 Filebeat 仍持有文件句柄，磁盘空间不会释放。用命令可见状态为 (deleted) 的打开文件：
  • lsof | grep deleted | grep filebeat
• 快速止损（应急）：重启 Filebeat 可立即释放句柄（不建议频繁使用 kill -9，可能造成事件丢失）。
• 配置优化（治本）：调整文件关闭策略，使 Filebeat 能及时释放已删除或长时间未更新的文件句柄：
  • 推荐组合（按需求二选一或微调）：
    • 通用稳定：close_older: 30m（30 分钟未更新则关闭句柄）
    • 轮转频繁或需更快释放：close_inactive: 5m（5 分钟未活跃则关闭句柄）
    • 谨慎开启：force_close_files: true（文件改名/删除即关闭句柄，极端情况下可能丢开头日志，优先用上面的时间阈值替代）
• 说明：Filebeat 默认会长期持有文件句柄以便持续读取；通过缩短关闭时间阈值，可显著降低“已删文件仍占空间”的概率。

二 减少本地与网络传输的数据量

• 忽略过旧文件：只采集近 N 天日志，避免一次性摄入历史堆积。
  • 示例：ignore_older: 240h（忽略 10 天前修改的文件）
• 限制单条日志大小：防止异常大行撑大事件与网络流量。
  • 示例：max_bytes: 204800（约 200KB，超大会被跳过）
• 只采集关键级别：减少无用事件写入与存储。
  • 示例：include_lines: [‘ERROR’, ‘WARN’, ‘INFO’]
• 调整发现间隔：降低 scan_frequency（如 10s）可在轮转频繁时更快发现新文件，减少重复或漏采带来的额外重试与缓存压力。

三 规范输出与索引生命周期管理

• 启用 ILM 做自动滚动与过期删除：从 7.x 起 Filebeat 默认使用 ILM，可按大小或时间滚动索引，并在到期后自动删除，避免本地与集群长期堆积。
  • 关键项：setup.ilm.enabled: auto；可自定义 rollover_alias 与 pattern。
• 自定义保留策略示例（Kibana Dev Tools 执行）：
  • 保留 30 天策略：
    • PUT _ilm/policy/filebeat-30days { “policy”: { “phases”: { “hot”: { “min_age”: “0ms”, “actions”: { “rollover”: { “max_size”: “50gb”, “max_age”: “1d” }, “set_priority”: { “priority”: 100 } } }, “delete”: { “min_age”: “30d”, “actions”: { “delete”: {} } } } } }
  • 保留 365 天策略：将 delete 的 min_age 改为 365d。
• 多业务不同保留：按 event.module 或数据源拆分索引/数据流，分别绑定不同 ILM 策略，便于精细化存储治理。

四 管理 Filebeat 自身日志与本地状态

• 日志轮转与压缩：为 Filebeat 自身日志配置 logrotate，避免运行日志无限增长。
  • 示例（/etc/logrotate.d/filebeat）：
    • /var/log/filebeat/*.log {
      • daily
      • rotate 7
      • missingok
      • notifempty
      • compress
      • delaycompress
      • sharedscripts
      • postrotate
        • systemctl reload filebeat >/dev/null 2>&1 || true
      • endscript
      • }
• 控制本地状态大小：registry 记录已读位置，异常膨胀会占用磁盘。
  • 建议：定期备份并清理旧状态目录（默认在 ${path.data}/registry），升级或迁移时保留一致性；必要时分环境拆分采集实例，降低单实例状态规模。

五 推荐配置片段与实施步骤

• 建议的最小优化集（按场景微调阈值）：
  • filebeat.inputs:
    • type: log enabled: true paths:
      • /var/log/*.log ignore_older: 240h max_bytes: 204800 include_lines: [‘ERROR’, ‘WARN’, ‘INFO’] close_inactive: 5m

      close_older: 30m # 与 close_inactive 二选一为主

      force_close_files: true # 仅在确认轮转极快且可接受极小丢行风险时启用

  • setup.ilm.enabled: auto
  • setup.ilm.rollover_alias: “filebeat-7.17” # 示例，按实际版本/模块命名
  • setup.ilm.pattern: “{now/d}-000001”
• 实施步骤：
  1. 备份原配置与 registry；2) 先小范围灰度变更；3) 观察 24–48 小时指标（句柄数、磁盘、事件延迟）；4) 逐步推广全量；5) 在 ES/Kibana 校验 ILM 滚动与删除是否生效。