CentOS上Filebeat如何进行日志分析

1. 安装Filebeat
在CentOS上安装Filebeat，推荐通过Elastic官方YUM仓库安装（以7.x版本为例）：

• 导入Elastic GPG密钥：sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
• 添加Elastic YUM仓库：

  echo "[elasticsearch-7.x]
  name=Elasticsearch repository for 7.x packages
  baseurl=https://artifacts.elastic.co/packages/7.x/yum
  gpgcheck=1
  gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  autorefresh=1
  type=rpm-md" | sudo tee -a /etc/yum.repos.d/elasticsearch.repo
  

• 安装Filebeat：sudo yum install filebeat -y。

2. 配置Filebeat
配置文件位于/etc/filebeat/filebeat.yml，需设置输入源、输出目标及可选的处理器/模块：

• 输入配置：指定要收集的日志文件路径（支持通配符），例如收集系统日志和Nginx日志：

  filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/*.log       # 系统日志
      - /var/log/nginx/*.log # Nginx日志
  

• 输出配置：将日志发送至Elasticsearch（本地或远程），并设置索引名称（按日期分割）：

  output.elasticsearch:
    hosts: ["localhost:9200"]  # Elasticsearch地址
    index: "filebeat-%{+yyyy.MM.dd}"  # 索引格式：filebeat-年份.月份.日期
  

• 可选：添加处理器：若日志为JSON格式，可通过dissect或json处理器解析字段。例如，用dissect解析timestamp level message格式的日志：

  processors:
  - dissect:
      tokenizer: "%{timestamp} %{level} %{message}"
      field: "message"  # 从message字段提取
      target_prefix: "" # 直接添加到根字段
  

• 可选：启用模块：Filebeat内置模块（如Nginx、Apache）可自动配置采集规则，简化流程：

  filebeat modules enable nginx  # 启用Nginx模块
  

  启用后，模块会自动识别/var/log/nginx/access.log和/var/log/nginx/error.log，无需手动配置paths。

3. 启动与验证Filebeat

• 启动服务并设置开机自启：

  sudo systemctl start filebeat
  sudo systemctl enable filebeat
  

• 检查服务状态：sudo systemctl status filebeat（显示“active (running)”即为成功）。
• 验证配置文件语法：filebeat test config -e（无错误输出则配置正确）。
• 查看Filebeat日志：sudo tail -f /var/log/filebeat/filebeat（确认是否成功读取日志文件）。

4. 在Kibana中查看与分析日志

• 登录Kibana（默认地址http://<kibana_host>:5601），进入Management > Index Patterns，创建索引模式（如filebeat-*），匹配Filebeat生成的索引。
• 进入Discover页面，选择刚创建的索引模式，即可查看原始日志数据。可通过Filter栏添加条件（如level: ERROR）筛选日志。
• 创建Dashboard：通过Visualize Library添加可视化组件（如柱状图、折线图），展示日志趋势（如错误日志数量随时间变化），提升分析效率。

5. 可选：优化与扩展

• 日志轮转与清理：结合Elasticsearch的ILM（Index Lifecycle Management）策略，自动删除旧日志（如30天前的索引），节省存储空间。
• 监控与报警：通过Elasticsearch的Watcher功能，设置日志监控规则（如“1小时内出现10次以上ERROR日志”），触发邮件或短信报警。
• 增强解析能力：若日志格式复杂，可使用grok处理器（需提前定义模式）提取更多字段，例如解析Apache访问日志中的IP、URL、状态码。