如何配置Filebeat的日志路径

配置 Filebeat 日志路径

一 基本配置步骤

• 编辑配置文件：在 Linux 上通常为 /etc/filebeat/filebeat.yml。
• 在 filebeat.inputs 中设置 type: log 与 paths 数组，指定要采集的一个或多个日志文件路径。
• 配置输出（示例）：可输出到 Elasticsearch 或 Logstash。
• 启动与验证：启动服务并检查运行状态与日志，确保无报错。
  示例（采集系统日志并输出到本机 Elasticsearch）： filebeat.inputs:
• type: log enabled: true paths:
  • /var/log/syslog
  • /var/log/auth.log output.elasticsearch: hosts: [“localhost:9200”] index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”

二 常见路径写法与示例

• 单个文件：/var/log/syslog
• 多个文件：/var/log/syslog、/var/log/auth.log
• 目录通配：/var/log/*.log
• 递归目录：/var/log/**/*.log（采集子目录中所有匹配文件）
• 多路径组合： filebeat.inputs:
• type: log enabled: true paths:
  • /var/log/*.log
  • /opt/app/*.log
  • /var/log/nginx/*.log

三 高级采集选项

• 多行日志合并（如 Java 堆栈）： filebeat.inputs:
• type: log enabled: true paths:
  • /var/log/app/*.log multiline.pattern: ‘^[0-9]{4}-[0-9]{2}-[0-9]{2}’ multiline.negate: true multiline.match: after multiline.max_lines: 300
• 排除与包含：
  • 排除注释行：exclude_lines: [‘^#’]
  • 仅采集匹配行：include_lines: [‘ERROR’, ‘WARN’]
• 从文件尾部开始读（适合已有大文件）：tail_files: true
• 扫描频率：scan_frequency: 60s（默认 10s）
• 失败重试退避：backoff: 10s
  示例： filebeat.inputs:
• type: log enabled: true paths:
  • /opt/data/logs//.log exclude_lines: [‘^#’] tail_files: true scan_frequency: 60s backoff: 10s

四 使用模块采集常见应用日志

• 启用模块目录：/etc/filebeat/modules.d/*.yml，按需启用（如 nginx、system 等）。
• 示例（启用 Nginx 模块）： filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false
• 然后启用具体模块（如在 modules.d/nginx.yml 中将 enabled 设为 true），并配置对应日志路径与解析方式。
  说明：模块提供预置的 inputs 与 processors，可简化常见应用日志的采集与解析。

五 验证与常见问题

• 启动与开机自启：
  • 启动：sudo systemctl start filebeat
  • 自启：sudo systemctl enable filebeat
• 查看状态与日志：
  • 状态：sudo systemctl status filebeat
  • 日志：sudo journalctl -u filebeat -f（或 tail -f /var/log/filebeat/filebeat）
• 权限与路径：确保运行 Filebeat 的用户对目标日志文件与目录具有 读取权限；使用绝对路径；必要时在 inputs 中增加多个 paths。
• 配置语法：缩进使用 空格，避免 Tab；修改后先语法校验再重启。
• 输出连通性：确认 Elasticsearch/Logstash 地址与端口可达，必要时配置 SSL/TLS 与认证。