Filebeat如何与Kibana配合使用

总体架构与数据流向

• Filebeat 负责在主机上采集日志文件，并将事件发送到 Elasticsearch；如需增强处理，可先经 Logstash 再写入 ES。
• Kibana 连接 Elasticsearch 读取索引数据，提供 Discover/Visualize/Dashboard 进行检索与可视化。
• 最小可行链路为：Filebeat → Elasticsearch → Kibana；复杂解析场景可用 Filebeat → Logstash → Elasticsearch → Kibana。

部署与配置步骤

1. 安装组件
   • 安装 Elasticsearch、Kibana（以及可选的 Logstash），并启动服务。
2. 配置 Filebeat 输出到 Elasticsearch
   • 编辑 /etc/filebeat/filebeat.yml：
     • 定义输入：
       • 简单采集：
         • filebeat.inputs:
           • type: log
             enabled: true
             paths: [“/var/log/*.log”]
       • 模块采集（推荐用于常见组件）：先启用模块（如 system、mysql 等），再按需调整模块 YAML 中的 var.paths。
     • 输出到 ES：
       • output.elasticsearch:
         • hosts: [“ES_HOST:9200”]
         • 如启用安全认证：配置 username/password 或 api_key。
3. 配置 Kibana 连接 Elasticsearch
   • 编辑 /etc/kibana/kibana.yml：
     • server.host: “0.0.0.0”（或指定内网地址）
     • elasticsearch.hosts: [“http://ES_HOST:9200”]
4. 一键导入仪表板与索引模式（推荐）
   • 在 Filebeat 配置中设置 setup.kibana.host: “KIBANA_HOST:5601”，如启用安全认证同样配置 username/password 或 api_key；首次启动时执行导入（见下一节命令）。
5. 启动服务
   • systemctl start/enable elasticsearch、kibana、filebeat（Linux）；Windows 可使用服务脚本安装并启动。

Kibana 侧操作

• 访问 http://<KIBANA_HOST>:5601，进入 Management → Stack Management → Index Patterns，创建索引模式（如 filebeat-* 或 filebeat-%{[agent.version]}-%{+yyyy.MM.dd}），选择时间字段（常见为 @timestamp）。
• 打开 Discover 预览数据，确认字段解析正常。
• 进入 Visualize/Dashboard 创建图表与仪表板；若已通过 setup.kibana.host 导入，可直接使用 Filebeat 自带的可视化与仪表板。

常用命令与最小配置示例

• 常用命令
  • 查看模块：filebeat modules list
  • 启用模块：filebeat modules enable system mysql
  • 导入 Kibana 仪表板与索引模式：filebeat setup -e（-e 输出到控制台便于排错）
  • Windows 安装服务：PowerShell -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1
• 最小配置示例（filebeat.yml 片段）
  • filebeat.inputs:
    • type: log
      enabled: true
      paths: [“/var/log/*.log”]
  • output.elasticsearch:
    • hosts: [“es-host:9200”]
    • username: “elastic”
    • password: “YourPassword”
  • setup.kibana:
    • host: “kibana-host:5601”
    • username: “kibana_user”
    • password: “YourKibanaPassword”
• 说明
  • 索引命名建议包含 agent.version 与日期，便于多版本共存与滚动管理（如 filebeat-%{[agent.version]}-%{+yyyy.MM.dd}）。
  • 若使用 Logstash，将 Filebeat 输出改为 output.logstash，由 Logstash 负责解析与写入 ES。

安全与排错要点

• 开启认证与最小权限：为 Filebeat/Kibana 创建专用角色，仅授予对目标索引与 Kibana 管理的必要权限；使用 HTTPS 与 API Key 可提升安全性。
• 首次导入失败排查：检查 Kibana 地址与端口、网络连通性、账号权限；使用 filebeat setup -e 查看详细错误。
• 索引模式创建失败：确认 Elasticsearch 已有数据写入（Discover 能看到文档），索引名称与时间字段匹配。
• 路径与编码问题：Windows 路径使用双反斜杠或正斜杠；确保日志文件可读且 Filebeat 有相应权限。
• 版本兼容：保持 Filebeat、Elasticsearch、Kibana 主版本一致，避免兼容性问题。