可以实现实时监控与可靠采集

工作原理与实时性

• 输入 Inputs：指定要监控的日志文件路径（支持通配符）。
• 收割机 Harvester：对每个文件持续读取新增行并送入处理链路。
• 状态管理 Registry：将每个文件的读取偏移写入磁盘注册表，重启后从断点继续，保证至少一次交付。
• 刷新频率：通过 scan_frequency 控制目录扫描与新文件发现，默认10秒；tail_files: true 可从文件尾部开始读取。
• 缓冲与发送：内部缓冲后并发发送到 Elasticsearch/Logstash 等输出端。
  以上机制共同保证了在 Ubuntu 上的近实时日志采集与可靠续传。

快速配置示例 Ubuntu 20.04/22.04

• 安装 Filebeat（以 8.x 为例）：
  • 使用 APT：sudo apt update && sudo apt install filebeat
• 编辑配置 /etc/filebeat/filebeat.yml（仅展示关键项）：
  • 输入 filebeat.inputs:
    • type: log enabled: true paths:
      • /var/log/*.log
      • /var/log/myapp/*.log tail_files: true scan_frequency: 3s ignore_older: 72h close_inactive: 5m
  • 输出（二选一或对接 Logstash） output.elasticsearch: hosts: [“localhost:9200”] index: “filebeat-%{+yyyy.MM.dd}”

    或

    output.logstash:

    hosts: [“127.0.0.1:5044”]

• 启动与开机自启
  • sudo systemctl start filebeat
  • sudo systemctl enable filebeat
• 验证
  • sudo systemctl status filebeat
  • 查看索引：curl -X GET “localhost:9200/_cat/indices?v”（若对接 ES）
  • 查看运行日志：tail -f /var/log/filebeat/filebeat
  • 如需更高实时性，可将 scan_frequency 调小（如 1–3s），注意 CPU 负载变化

日志轮转与至少一次交付

• 日志轮转不丢数据的关键参数
  • close_inactive：文件在指定时间内无更新则关闭句柄，默认 5m；建议大于应用最长写入间隔。
  • scan_frequency：目录扫描与新文件发现间隔，默认 10s。
  • 典型轮转场景：旧文件被重命名后不再更新，close_inactive 触发关闭；scan_frequency 发现新文件并启动新的 harvester，配合注册表 offset 实现不重不漏。
• 至少一次交付与注意事项
  • Filebeat 通过注册表记录事件状态，在输出阻塞或未确认时重试，重启后会重发未确认事件，确保至少一次。
  • 限制与风险：若写入速度超过采集能力、输出长期不可用、或文件被删除，仍可能丢失数据；Linux 上 inode 重用 可能导致少量行被跳过（见官方 FAQ）。

常见问题与排查

• 新文件迟迟未被采集：检查 paths 通配符是否覆盖目标文件；适当降低 scan_frequency；确认文件权限与归属允许 Filebeat 读取。
• 多行堆栈被拆行：使用 multiline 正确合并多行日志（如以时间戳或异常关键字作为首行规则）。
• 从文件开头重读：删除注册表文件后重启（/var/lib/filebeat/registry 或解压安装目录下的 data/registry），谨慎操作以免影响断点续传。
• 输出阻塞或堆积：检查 Elasticsearch/Logstash 健康与吞吐，必要时增加输出并发与资源，或调整缓冲与批量参数。