Ubuntu 上 Filebeat 的数据存储与落地方式
一 核心概念与默认路径
- Filebeat 是日志采集器，本身不提供长期持久化存储，职责是将日志事件可靠地转发到外部系统（如 Elasticsearch、Logstash、Redis 等）。
- 本机持久化主要涉及两类数据：
- 运行时状态与注册表（记录已读取位置等）：默认目录 /var/lib/filebeat。
- Filebeat 自身运行日志：默认目录 /var/log/filebeat。
- 可通过配置文件 /etc/filebeat/filebeat.yml 调整上述路径与行为。
二 配置数据存储路径
- 修改运行时数据与注册表目录（registry）：在 filebeat.yml 中设置
path.data: /your/custom/data/dir
并确保目录存在且 Filebeat 有读写权限。
- 修改 Filebeat 自身日志目录与保留策略：
logging.to_files: true
logging.files:
path: /var/log/filebeat
keepfiles: 7
- 使配置生效：
sudo systemctl restart filebeat
以上路径与参数为 Filebeat 常用做法，适用于 Ubuntu/Debian 等系统。
三 将数据落地到外部存储
- 到 Elasticsearch（常见做法，便于检索与分析）：
output.elasticsearch:
hosts: [“localhost:9200”]
index: “filebeat-%{[agent.version]}-%{+yyyy.MM.dd}”
- 到 Redis（作为缓冲队列，再由 Logstash/消费端处理）：
output.redis:
hosts: [“127.0.0.1:6379”]
key: “filebeat-logs”
- 到 Logstash（做解析与再分发，最终写入数据库等）：
output.logstash:
hosts: [“localhost:5044”]
以上输出方式均为 Filebeat 官方支持的典型场景，可按需选择其一或组合使用。
四 长期保留与归档策略
- Filebeat 不负责长期归档；若落地 Elasticsearch，建议使用 ILM（Index Lifecycle Management） 管理索引生命周期（如滚动、转冷、删除）。示例策略：
PUT _ilm/policy/logstash-policy
{
“policy”: {
“phases”: {
“hot”: {
“actions”: {
“rollover”: { “max_size”: “50gb”, “max_age”: “7d” }
}
},
“delete”: {
“min_age”: “30d”,
“actions”: { “delete”: {} }
}
}
}
}
- 若需写入 MySQL 等关系型库，通常通过 Logstash JDBC 输出 或应用侧消费实现，Filebeat 不直接写入 MySQL。
五 常用运维命令
- 启动/启用：sudo systemctl start filebeat；sudo systemctl enable filebeat
- 查看状态：sudo systemctl status filebeat
- 查看运行日志：journalctl -u filebeat -f
这些命令便于验证配置是否生效与排查问题。