在 CentOS 上使用 Filebeat 进行日志分析

一 架构与准备

• 组件分工：Filebeat 负责采集与轻量处理日志，Elasticsearch 负责存储与检索，Kibana 负责可视化分析。
• 环境建议：操作系统 CentOS 7/8，已安装并运行 Elasticsearch 与 Kibana，网络可达（Elasticsearch 默认 9200，Kibana 默认 5601）。如启用安全功能，准备 用户名/密码 或 TLS 证书。

二 安装与配置 Filebeat

• 安装步骤
  • 导入 GPG 并添加 Elastic 仓库（以 7.x 为例）：
    • sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
    • echo “[elasticsearch-7.x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md” | sudo tee /etc/yum.repos.d/elasticsearch.repo
  • 安装 Filebeat：sudo yum install filebeat -y
• 核心配置示例（/etc/filebeat/filebeat.yml）
  • 采集系统与应用日志，启用 Nginx 模块，输出到 Elasticsearch，并做简单解析：
    • filebeat.inputs:
      • type: log enabled: true paths:
        • /var/log/*.log
        • /var/log/nginx/*.log exclude_files: [‘.gz$’] ignore_older: 72h scan_frequency: 5s
    • filebeat.modules:
      • module: nginx
    • processors:
      • dissect: tokenizer: “%{timestamp} %{level} %{message}” field: “message” target_prefix: “”
      • decode_json_fields: fields: [“message”] target: “” overwrite_keys: true
    • output.elasticsearch: hosts: [“localhost:9200”] index: “filebeat-%{+yyyy.MM.dd}”

      如启用安全：

      username: “elastic”

      password: “your_password”

    • 如需更强处理能力，可改为输出到 Logstash（取消注释并配置 hosts）

      output.logstash:

      hosts: [“logstash:5044”]

  • 说明：
    • ignore_older 减少历史堆积；scan_frequency 提升新文件发现速度；
    • dissect 与 decode_json_fields 用于结构化解析；
    • filebeat.modules 提供 Nginx/Apache/System 等开箱即用采集与解析规则。

三 启动与验证

• 启动与开机自启
  • sudo systemctl start filebeat
  • sudo systemctl enable filebeat
• 配置与运行状态检查
  • 校验配置：filebeat test config -e
  • 查看服务：sudo systemctl status filebeat
  • 查看 Filebeat 自身日志：sudo tail -f /var/log/filebeat/filebeat
• 验证数据是否入库
  • curl -X GET “localhost:9200/_cat/indices?v” | grep filebeat
  • 若使用安全特性，请在 curl 中添加 -u elastic:password。

四 在 Kibana 中分析与可视化

• 访问 http://<kibana_host>:5601，进入 Management > Index Patterns，创建索引模式（如 filebeat-*），选择时间字段 @timestamp。
• 打开 Discover，选择索引模式，按 level: ERROR、service 等条件筛选，查看结构化字段。
• 进入 Visualize Library 创建图表（如按小时统计 ERROR 数量趋势），并保存为 Dashboard 进行统一监控。

五 优化与扩展

• 索引生命周期管理（ILM）
  • 使用 ILM 自动滚动与清理旧索引（如保留近 30 天），降低存储压力。
• 安全与合规
  • 启用 TLS/认证，并在输出中配置 username/password 或 CA 证书；必要时对事件做 drop_fields 脱敏。
• 多目标与解耦
  • 通过 output.logstash 将解析与丰富逻辑下沉到 Logstash，再由 Logstash 输出到 Elasticsearch/Kafka 等。
• 调试与观测
  • 调整 Filebeat 自身日志级别：logging.level: debug，便于排查采集问题。