在 Ubuntu 中，Filebeat 可通过输出插件与多类系统对接，包括 Elasticsearch、Logstash、Kafka、Redis 以及 HTTP 接口。下面给出可直接落地的集成路径与关键配置。
一、安装与基础配置
- 安装 Filebeat（以 Ubuntu 20.04/22.04 为例，使用 Elastic 官方 APT 源）：
- 导入 GPG 并添加源（示例为 8.x，可按需替换为 7.x/8.x）：
- wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
- echo “deb https://artifacts.elastic.co/packages/8.x/apt stable main” | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
- sudo apt-get update && sudo apt-get install filebeat
- 主配置文件路径：/etc/filebeat/filebeat.yml
- 常用运维命令：
- 启动/开机自启：sudo systemctl start filebeat；sudo systemctl enable filebeat
- 查看状态/日志：sudo systemctl status filebeat；sudo journalctl -u filebeat -f
- 建议将模块配置放入 /etc/filebeat/modules.d/ 并由 filebeat.yml 的 filebeat.config.modules 加载，便于管理。
二、常见集成方式
- 直连 Elasticsearch
- 适用：日志量中小、无需复杂处理的场景。
- 配置要点：
- output.elasticsearch.hosts: [“es-host:9200”]
- 如需认证：output.elasticsearch.username / password
- 索引名可用索引模板或 ILM 策略管理（如 filebeat-%{+yyyy.MM.dd} 或 ILM 策略）
- 发送至 Logstash
- 适用：需要过滤、丰富、脱敏、路由等处理。
- 配置要点：
- output.logstash.hosts: [“logstash-host:5044”]
- Logstash 侧 input { beats { port => 5044 } } 接收
- 写入 Redis（List）
- 适用：削峰填谷、解耦采集与处理。
- 配置要点：
- output.redis:
- hosts: [“redis-host:6379”]
- key: “filebeat”
- db: 0
- password: “yourpass”（可选）
- 写入 Kafka
- 适用：高吞吐、多消费者、跨系统流转。
- 配置要点：
- output.kafka:
- hosts: [“kafka1:9092”,“kafka2:9092”]
- topic: “filebeat”
- codec.json: pretty: false
- 调用 HTTP 接口
- 适用：对接自研或第三方日志接收 API。
- 配置要点：
- output.http:
- hosts: [“api.example.com:8080”]
- method: “POST”
- path: “/ingest”
- ssl.verification_mode: none（测试环境可选，生产请启用 TLS 与证书校验）
- 启用内置模块（Nginx、System、MySQL 等）
- 作用：自动发现路径、解析与仪表板。
- 命令与要点：
- 启用模块：sudo filebeat modules enable nginx
- 按需修改：/etc/filebeat/modules.d/nginx.yml
- 若直连 ES，执行 filebeat setup --pipelines --modules nginx 加载 Ingest pipelines；如经 Logstash，建议在 Logstash 中完成解析。
三、典型架构示例
- Filebeat → Logstash → Elasticsearch → Kibana
- 说明：最常见方案，Logstash 负责解析与丰富，ES 存储与检索，Kibana 可视化。
- 关键端口：Filebeat→Logstash 5044；Logstash→ES 9200；Kibana→ES 9200；Kibana 访问 5601。
- Filebeat → Redis → Logstash → Elasticsearch
- 说明：Redis 作为缓冲队列，适合流量突增与跨机房传输。
- 关键配置：Filebeat output.redis.key；Logstash input { redis { data_type => “list” key => “filebeat” … } }。
- Filebeat → Kafka → Logstash → Elasticsearch
- 说明：高吞吐与多消费者场景，便于横向扩展与重放。
- 关键配置：Filebeat output.kafka.topic；Logstash input { kafka { bootstrap_servers => “kafka:9092” topics => [“filebeat”] codec => json } }。
四、安全与运维要点
- 认证与加密
- ES/Kafka/Redis/HTTP 均建议启用 TLS/SSL 与凭据认证；Filebeat 侧配置 ssl.verification_mode、username/password、api_key 等。
- 网络与防火墙
- 开放必要端口（如 5044/6379/9092/9200/5601），并限制来源 IP；跨 VPC/公网传输务必加密。
- 资源与性能
- 合理设置 bulk_max_size、worker、queue.spool 等参数；高峰期可引入 Redis/Kafka 缓冲。
- 模块与管道
- 直连 ES 时运行 filebeat setup 初始化索引模板与仪表板；经 Logstash 时由 Logstash 执行解析，避免重复处理。
- 调试与验证
- 使用 filebeat test config、filebeat test output 校验配置与输出连通性；通过 journalctl 与目标系统日志确认数据到达与处理链路。