定位与处理思路
- 先区分是哪一类日志过大：是 Filebeat 自身日志（/var/log/filebeat/filebeat）还是 被采集的业务日志（应用或系统日志）。两类问题的处理路径不同，但都可以通过“轮转 + 清理 + 限流/并发控制”来解决。
Filebeat 自身日志过大
- 使用 logrotate 轮转并压缩旧日志，保留有限份数，避免磁盘被占满。示例配置 /etc/logrotate.d/filebeat：
/var/log/filebeat/*.log {
daily
missingok
rotate 7
compress
notifempty
create 0640 root root
postrotate
# 通知 Filebeat 重新打开日志文件
/usr/bin/kill -HUP $(cat /var/run/filebeat/filebeat.pid 2>/dev/null) 2>/dev/null || true
endscript
}
- 测试与生效：
- 手动测试：sudo logrotate -f /etc/logrotate.d/filebeat
- 验证轮转：ls -lh /var/log/filebeat/ 查看是否生成 .gz 归档
- 说明：Filebeat 会为每个被监控文件创建 Harvester 逐块读取并跟踪读取位置，发生轮转时能自动适配新文件，无需额外干预。
被采集的业务日志过大
- 源头治理优先：配置合理的 日志轮转（size/time） 与 保留策略，避免单文件无限增长。
- 在 Filebeat 侧减少无效摄入与背压：
- 仅采集需要的日志：使用 paths 精确匹配，或用 ignore_older 忽略过旧文件（如：72h），降低扫描与处理压力。
- 控制并发与资源：合理设置 harvester_limit / max_concurrent_files，避免打开过多文件句柄；必要时使用 多实例 分摊负载。
- 提升吞吐与稳定性：适当增大 bulk_max_size、启用 compression，并优化 scan_frequency 与输出连接池，减少因拥堵导致的堆积。
- 输入类型建议：在 Filebeat 7+ 优先使用 filestream 输入，较旧 log 输入更高效稳定。
应急与长期优化
- 应急止血
- 临时停止摄入：在 filebeat.yml 中将相关 input 的 enabled: false，执行 filebeat test config && systemctl reload filebeat；必要时直接停止服务清理空间后再恢复。
- 快速释放空间：压缩或归档当前大文件，清理历史归档；确保应用与 Filebeat 对轮转后的新文件具备写入/读取权限。
- 长期优化
- 建立监控告警：关注 Filebeat 事件速率、输出延迟、注册表大小、文件句柄数等关键指标，提前识别堆积与异常。
- 架构解耦：高流量或波动场景引入 Kafka/Redis 作为缓冲层，削峰填谷，提升可靠性。