如何使用Filebeat收集应用日志 - 问答

使用 Filebeat 收集应用日志

一安装与目录结构

在 Linux（Debian/Ubuntu/CentOS） 上安装 Filebeat，常见方式为使用官方仓库的 .deb/.rpm 包或下载官方压缩包解压即用。安装完成后，关键目录通常为：配置文件 /etc/filebeat/filebeat.yml，数据存储 /var/lib/filebeat/（记录采集进度），模块目录 /usr/share/filebeat/modules/。以 CentOS 为例，可用 YUM 添加 Elastic 仓库后安装；以 Debian 为例，编辑 /etc/filebeat/filebeat.yml 进行配置。以上路径与安装方式适用于后续配置与运维。

二最小可用配置与启动

编辑配置文件 /etc/filebeat/filebeat.yml，添加一个应用日志输入（示例为 JSON 日志），输出到控制台用于验证：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/myapp/*.log
  json.keys_under_root: true
  json.overwrite_keys: true

output.console:
  pretty: true

启动与验证（Systemd 场景）：

sudo systemctl enable --now filebeat
sudo systemctl status filebeat
# 观察控制台输出是否出现解析后的 JSON 日志

要点：
- 将应用日志规范化为 JSON 并在采集端使用 json.keys_under_root: true 可直接将字段提升到事件顶层，便于检索与聚合。
- 初次接入建议先用 output.console 验证，再切换到正式输出。

三输出到 Elasticsearch 与按应用分索引

直接写入 Elasticsearch，并按应用设置索引名（示例为 nginx 与 tomcat 两类日志）：

filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  fields:
    index: nginx

- type: log
  paths:
    - /application/tomcat/logs/catalina.out
  fields:
    index: tomcat

output.elasticsearch:
  hosts: ["http://10.0.0.71:9200"]
  indices:
    - index: "elk-nginx-%{+yyyy.MM.dd}"
      when.equals:
        fields.index: "nginx"
    - index: "elk-tomcat-%{+yyyy.MM.dd}"
      when.equals:
        fields.index: "tomcat"

说明：
- 通过 fields.index 为不同应用打标签，再用 indices.when.equals 将不同应用日志写入各自按日滚动的索引，便于隔离与权限控制。
- 若需要自定义索引模板（分片数、副本数等），可在输出段关闭 ILM 并配置 setup.template，例如：
  - setup.ilm.enabled: false
  - setup.template.name: “myapp”
  - setup.template.pattern: “myapp-*”
  - setup.template.settings.index.number_of_shards: 3
  - setup.template.settings.index.number_of_replicas: 1

四多行堆栈与常见采集场景

Java/异常堆栈等多行日志合并（按行首为 [ 的规则将后续行合并到该事件）：

filebeat.inputs:
- type: log
  paths:
    - /var/log/java-app/*.log
  multiline:
    pattern: '^\['
    negate: true
    match: after
    max_lines: 500
    timeout: 5s

其他常见场景（简要示例）：
- 输出到 Redis（供后续 Logstash/消费端处理）：

output.redis:
  hosts: ["10.0.0.81:6379"]
  key: "nginx_log"
  db: 0

输出到 Logstash（集中解析与加工后再入 ES）：

output.logstash:
  hosts: ["10.0.0.81:5044"]

仅写入本地文件（调试/归档）：

output.file:
  path: "/tmp/"
  filename: "app.log"

提示：多行合并的关键参数含义为 pattern（匹配规则）、negate（是否取反）、match=after（将匹配行之后的行合并到该事件），并可通过 max_lines 与 timeout 控制合并上限与超时落盘。

五生产实践与运维要点

运行与可靠性
- 推荐使用 Systemd 托管，确保进程常驻与自动拉起；必要时结合 nohup 或容器化运行。
- 关注 Registry 文件（位于 /var/lib/filebeat/）以确认采集位点，避免重启后重复或丢失。
性能与资源
- 结合负载与延迟，适当调整 harvester_buffer_size、bulk_max_size、内存队列等参数；开启监控（如 logging.metrics）观察吞吐与积压。
安全与合规
- 跨网络传输建议启用 SSL/TLS；敏感信息使用 Keystore 管理；对输出目标实施 基于角色的访问控制（RBAC）。
观测与可视化
- 在 Kibana 创建索引模式（如 elk-nginx-、elk-tomcat-），使用 KQL 检索与分析，例如：
  - message: “error” AND host.name: “web-01”
- 建议同时部署 Metricbeat 监控 Filebeat 自身运行状态与资源占用。

0 赞

0 踩