在 Ubuntu 上使用 Filebeat 收集数据的实操指南
一 安装与准备
- 使用 APT 安装（推荐）
- 更新索引并安装：sudo apt update && sudo apt install filebeat
- 启动并设为开机自启：sudo systemctl start filebeat && sudo systemctl enable filebeat
- 检查状态：sudo systemctl status filebeat
- 使用 Snap 安装（可选）
- 安装：sudo snap install filebeat --classic
- 启动并设为开机自启：sudo systemctl start filebeat && sudo systemctl enable filebeat
- 配置文件路径：/var/snap/filebeat/common/etc/filebeat.yml
- 目录与权限
- 日志目录：/var/log/filebeat/filebeat（用于排查问题）
- 建议以具备读取日志权限的用户运行（如 root 或加入 adm 组）
二 快速开始 输出到 Elasticsearch
- 启用模块（以系统日志为例）
- 列出模块：sudo filebeat modules list
- 启用模块：sudo filebeat modules enable system
- 配置输出（编辑 /etc/filebeat/filebeat.yml）
- 仅保留 Elasticsearch 输出，注释 Logstash 输出
- 示例：
- output.elasticsearch.hosts: [“http://localhost:9200”]
- 如需安全传输，配置 username/password 或 TLS（见下文安全建议）
- 初始化与启动
- 初始化索引模板与 Kibana 仪表板（首次接入或变更索引模板时使用）：sudo filebeat setup
- 启动服务：sudo systemctl restart filebeat
- 验证
- 查看服务状态：sudo systemctl status filebeat
- 查看 Filebeat 自身日志：sudo journalctl -u filebeat -f
- 在 ES 中检索索引：curl -X GET “localhost:9200/_cat/indices?v&pretty”（应能看到以 filebeat- 开头的索引）
三 进阶 输出到 Logstash 或 Kafka
- 输出到 Logstash（便于过滤与丰富）
- Filebeat 配置（/etc/filebeat/filebeat.yml）
- 注释或删除 output.elasticsearch 相关配置
- 启用 Logstash 输出：output.logstash.hosts: [“your_logstash_host:5044”]
- Logstash 示例（/etc/logstash/conf.d/filebeat.conf）
- input { beats { port => 5044 } }
- filter { } # 可添加 grok、mutate 等处理
- output { elasticsearch { hosts => [“http://your_es_host:9200”] index => “filebeat-logs-%{+YYYY.MM.dd}” } }
- 启动：sudo systemctl restart filebeat && sudo systemctl restart logstash
- 输出到 Kafka（高吞吐与解耦）
- Filebeat 配置：output.kafka { hosts: [“kafka1:9092”,“kafka2:9092”], topic: “filebeat-logs”, required_acks: 1 }
- 注意：Kafka 输出需确保网络与认证可达，并在下游消费者中处理数据落地（如 Logstash/ES）
四 常用配置与优化
- 输入类型与路径
- Filebeat 7 常用 type: log；Filebeat 8 推荐 type: filestream
- 示例：
- filebeat.inputs:
- type: filestream
enabled: true
paths:
- /var/log/syslog
- /var/log/*.log
- 模块与处理器
- 模块：sudo filebeat modules enable nginx 或 system，按需加载解析器与仪表板
- 处理器（processors）：
- 添加主机/云/容器元数据：add_host_metadata、add_cloud_metadata、add_docker_metadata、add_kubernetes_metadata
- 字段标记：fields: { source: syslog }
- 过滤与调优
- 忽略旧文件：ignore_older: 72h
- 排除行：exclude_lines: [‘^DEBUG’]
- 仅采集新增行：tail_files: true
- 性能与可靠性
- 调整并发与批量：pipeline.workers、bulk_max_size、worker 数量
- 磁盘与内存：确保 data 目录所在磁盘空间充足，避免阻塞
- 安全建议
- 启用 TLS：在 output.elasticsearch 中配置 ssl.certificate_authorities、ssl.verification_mode 等
- 启用认证：配置 username/password 或使用 API Key
- 最小权限：为 Filebeat 创建最小权限的 ES 角色（仅写入目标索引与读取必要的 ILM/模板）
五 常见问题排查
- 配置语法检查：filebeat test config
- 输出连通性检查：filebeat test output
- 服务状态与日志：sudo systemctl status filebeat；sudo journalctl -u filebeat -f
- 权限问题：确保 Filebeat 对日志文件有读取权限（/var/log 下通常需要 root 或 adm 组）
- 索引未生成：确认已执行 filebeat setup（首次接入），并检查 ES 是否可写
- 重复采集：避免多个 Filebeat 实例采集同一文件；使用 clean_inactive 与 close_* 策略管理状态
以上步骤覆盖了在 Ubuntu 上安装 Filebeat、采集系统与应用日志、输出到 Elasticsearch/Logstash/Kafka 的完整流程，并提供了常见优化与排错要点。