在 Debian 上，Filebeat 通过“输入模块 + 输出目标 + 可靠采集机制 + 运行监控”的组合实现日志的近实时采集与转发。
核心原理与采集机制
- 使用输入插件持续“尾随”日志文件，读取新增内容并批量发送。新版 Filebeat 推荐使用 filestream 输入（替代旧的 log 输入），具备更完善的文件生命周期与状态管理。
- 通过 registry 文件记录每个被采集文件的 inode、设备与读取偏移，重启后可从上次位置继续，避免重复或丢失。
- 采集间隔由 scan_frequency 控制（默认 10s），配合批量与缓冲参数实现“近实时”而非逐行强实时。
- 可启用 ignore_older 忽略过旧历史文件，减少启动扫描与无效回溯。
- 多行日志（如 Java 堆栈）通过 multiline 将多行合并为一条事件，保证结构化解析的正确性。
快速落地步骤
- 安装 Filebeat（Debian 包）
- 下载并安装 .deb 包，例如：
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.15.0-amd64.deb
sudo dpkg -i filebeat-7.15.0-amd64.deb
- 配置实时采集
- 编辑 /etc/filebeat/filebeat.yml，示例：
filebeat.inputs:
- type: filestream
enabled: true
paths:
- /var/log/*.log
ignore_older: 72h
multiline.pattern: ‘^[0-9]{4}-[0-9]{2}-[0-9]{2}’
multiline.negate: true
multiline.match: after
- 配置输出（按需选择其一或多种）
- 输出到 Elasticsearch：
output.elasticsearch:
hosts: [“localhost:9200”]
index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”
- 或输出到 Kafka：
output.kafka:
hosts: [“kafka1:9092”,“kafka2:9092”]
topic: “app-logs”
- 启动与开机自启
- sudo systemctl start filebeat
- sudo systemctl enable filebeat
- 验证
- 查看服务状态：sudo systemctl status filebeat
- 实时查看服务日志：sudo journalctl -u filebeat -f
保障可靠与低延迟的关键配置
- 批量与并发：合理调大 bulk_max_size、worker 数量，提高吞吐；权衡 idle_timeout 与 flush_interval 减少等待。
- 背压与容错：启用 backoff、max_retries、queue.spool 等机制，避免下游短暂不可用导致阻塞或丢数。
- 资源与性能：结合 prospector.scanner.frequency（即 scan_frequency）与 harvester_buffer_size，在资源与延迟间取平衡。
- 多行与结构化：针对堆栈、JSON 行等使用 multiline 与 processors（如 dissect、grok）提升可观测性。
- 版本建议：如环境允许，优先使用 7.x/8.x 较新版本，以获得 filestream、资源治理与稳定性改进。
运行监控与可视化
- 服务与日志
- 实时查看服务日志：sudo journalctl -u filebeat -f
- 查看 Filebeat 自身日志文件：tail -f /var/log/filebeat/filebeat
- 内置监控
- 开启 monitoring 将 Filebeat 自身指标与状态发送至 Elasticsearch，在 Kibana 中查看：
monitoring:
enabled: true
elasticsearch:
hosts: [“localhost:9200”]
- 第三方监控
- 使用 Prometheus + Grafana 采集并展示 Filebeat 与系统指标，构建仪表盘实现可视化监控。
常见问题排查
- 新日志未采集：确认 paths 匹配正确、文件不是被其他进程轮转删除、且未被 ignore_older 排除；检查 registry 是否记录了正确 offset。
- 多行日志错乱：核对 multiline.pattern/negate/match 与日志实际前缀，必要时改为按行首时间戳或异常标识合并。
- 重复或丢失：避免同时运行多个 Filebeat 实例指向同一路径；确保输出端（ES/Kafka）健康并有重试与确认机制。
- 延迟高吞吐低：适度增大 bulk_max_size、worker，并优化下游（ES/Kafka）集群性能与网络。
- 权限问题：确保 Filebeat 对日志文件与 registry 目录具备读/写权限。