ubuntu如何使用filebeat进行日志分析 - 问答

在 Ubuntu 上使用 Filebeat 进行日志分析

一架构与准备

组件选型：在 Ubuntu 上部署 Filebeat 作为日志采集器，常见后端为 Logstash → Elasticsearch → Kibana（集中解析与可视化），也可直连 Elasticsearch。Filebeat 具备低资源占用、多模块支持（Nginx、MySQL、System 等）、断点续传等优势，适合边缘节点采集。请确保各组件版本一致（如 8.x 或 7.x）。Kibana 默认访问端口为 5601。

二安装与启用模块

APT 安装（推荐）
- 导入 GPG 并添加仓库（以 7.x 为例，若用 8.x 将版本号替换为 8.x）：
  - wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
  - echo “deb https://artifacts.elastic.co/packages/7.x/apt stable main” | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
  - sudo apt update && sudo apt install -y filebeat
- 启用系统日志模块并启动服务：
  - sudo filebeat modules enable system
  - sudo systemctl start filebeat && sudo systemctl enable filebeat
DEB 包安装（示例）
- wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.0-amd64.deb
- sudo dpkg -i filebeat-8.9.0-amd64.deb && sudo systemctl start filebeat
验证运行状态：
- sudo systemctl status filebeat
- tail -f /var/log/filebeat/filebeat.log

三配置采集与输出

场景一直连 Elasticsearch（最简）
- 编辑 /etc/filebeat/filebeat.yml：
  - filebeat.inputs:
    - type: filestream enabled: true paths:
      - /var/log/syslog
      - /var/log/auth.log
  - output.elasticsearch:
    - hosts: [“localhost:9200”]
- 重启：sudo systemctl restart filebeat
场景二输出到 Logstash（便于解析与增强）
- Filebeat 配置：
  - filebeat.inputs:
    - type: filestream enabled: true paths:
      - /var/log/syslog
      - /var/log/auth.log
  - output.logstash:
    - hosts: [“logstash_host:5044”]
  - output.elasticsearch.enabled: false
- Logstash 示例（/etc/logstash/conf.d/filebeat.conf）：
  - input { beats { port => 5044 } }
  - filter { if [fileset][module] == “system” { if [fileset][name] == “auth” { grok { match => { “message” => “%{SYSLOGTIMESTAMP:[system][auth][timestamp]} %{SYSLOGHOST:[system][auth][hostname]} sshd(?:[%{POSINT:[system][auth][pid]}])?: %{DATA:[system][auth][ssh][event]} %{DATA:[system][auth][ssh][method]} for (invalid user )?%{DATA:[system][auth][user]} from %{IPORHOST:[system][auth][ip]} port %{NUMBER:[system][auth][ssh][port]} ssh2” } } } } }
  - output { elasticsearch { hosts => [“http://localhost:9200”] index => “system-logs-%{+YYYY.MM.dd}” } stdout { codec => rubydebug } }
- 启动 Logstash：/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/filebeat.conf
场景三多域名 Nginx 日志写入不同索引
- filebeat.inputs:
  - type: log enabled: true paths:
    - /var/log/nginx/example.com.access.log fields: { domain: “example.com” } fields_under_root: true
  - type: log enabled: true paths:
    - /var/log/nginx/api.example.com.access.log fields: { domain: “api.example.com” } fields_under_root: true
- output.elasticsearch:
  - hosts: [“localhost:9200”]
  - indices:
    - index: “example-com-%{+yyyy.MM.dd}” when.equals: { domain: “example.com” }
    - index: “api-example-com-%{+yyyy.MM.dd}” when.equals: { domain: “api.example.com” }
- 提示：Filebeat 模块（如 Nginx/System）可一键启用并自带解析与仪表盘，适合快速落地。

四在 Kibana 中查看与分析

创建索引模式：进入 Kibana → Management → Stack Management → Index Patterns，新建匹配索引（如 system-logs-* 或 nginx-logs-*），时间字段选择 @timestamp。
数据探索：在 Discover 选择索引模式，按 status、client_ip、method 等字段筛选与检索。
可视化与仪表盘：
- 状态码分布饼图（按 status 聚合）
- 请求量时序折线图（X 轴 @timestamp，按小时聚合）
- 地理分布地图（基于 client_ip 的 GeoIP，需提前解析 IP 地理信息）
若使用 Filebeat 模块（如 Nginx/System），可直接导入预置仪表盘，快速获得访问量、错误率、地域分布等图表。

五常见问题与排查

无法发送数据到 Logstash
- 查看 Filebeat 日志：tail -f /var/log/filebeat/filebeat.log
- 检查端口连通：ss -lntp | grep 5044 或 telnet logstash_host 5044
Grok 解析失败
- 使用 Grok Debugger 验证正则；临时在 Logstash 开启 stdout { codec => rubydebug } 观察原始事件
Kibana 无数据
- 索引模式未匹配（如应为 nginx-logs-* 而非 filebeat-*）
- 右上角时间范围选择不当（调整为 Last 15 minutes/1 hour）
版本与模板冲突
- 多模块索引模板优先级冲突会导致 400 错误，需为自定义模板设置不同 priority，避免与内置模板冲突。

0 赞

0 踩