Ubuntu 上 Filebeat 日志恢复的可行路径
一、先明确“恢复”的目标
- 恢复 Filebeat 自身配置/状态：找回或还原 /etc/filebeat/filebeat.yml 与 registry（注册表），让 Filebeat 恢复采集位置与进度。
- 恢复已发送到 ES 的历史日志：通过 Elasticsearch 快照与恢复 把历史索引还原到集群中，以便在 Kibana 中继续检索分析。
- 重新采集本地历史日志文件：当本地仍有历史 .log 文件（未被清理）时，通过调整 Filebeat 输入与注册表策略，让 Filebeat 再次读取这些存量文件。
二、恢复 Filebeat 配置与注册表
- 配置恢复：优先从备份还原 /etc/filebeat/filebeat.yml；若无备份，按实际输出目标重配（Elasticsearch/Logstash/Kafka 等）。修改后先校验：
- 校验语法：
sudo filebeat test config -c /etc/filebeat/filebeat.yml
- 查看服务状态：
sudo systemctl status filebeat
- 查看运行日志：
sudo journalctl -u filebeat -f
- 注册表恢复：注册表默认位于 /var/lib/filebeat/registry。若你之前做过备份，直接还原该目录；恢复后首次启动 Filebeat 会从已记录的偏移继续读取，避免重复或遗漏。若注册表丢失且目标为 Elasticsearch，通常只能依赖 ES 快照恢复历史数据，或重新采集存量文件。
三、恢复已写入 Elasticsearch 的历史日志
- 前提：你曾在 ES 中创建过 快照仓库 并对索引做过快照（如 filebeat-* 按日索引）。
- 恢复步骤（示例）：
- 创建/确认快照仓库（示例为本地文件系统）：
curl -X PUT "localhost:9200/_snapshot/my_backup" -H 'Content-Type: application/json' -d'{ "type": "fs", "settings": { "location": "/var/lib/elasticsearch-backup" } }'
- 查看已有快照：
curl -X GET "localhost:9200/_snapshot/my_backup/_all?pretty"
- 执行恢复（可先恢复单个索引或通配符）：
curl -X POST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true"
- 恢复后，在 Kibana 创建/选择对应 index pattern（如 filebeat-*）即可检索历史数据。
四、重新采集本地历史日志文件
- 适用场景：应用或系统仍保留历史 .log 文件（如 /var/log/ 或应用日志目录），但 Filebeat 注册表已丢失或偏移过期。
- 建议做法：
- 在 Filebeat 配置中仅启用对“历史文件目录”的采集，避免与当前日志重复：
filebeat.inputs: - type: log enabled: true paths: - /var/log/old-app/*.log
- 启动 Filebeat 观察事件是否进入目标（ES/Logstash/Kafka）。如需在控制台调试，可临时输出到控制台：
output.console: pretty- 运行：
sudo filebeat -e -c /etc/filebeat/filebeat.yml
- 验证完成后切回正式输出并重启：
sudo systemctl restart filebeat
- 注意：若历史文件已被轮转压缩（如 .gz），Filebeat 默认不读取压缩文件；可先解压或在采集前做预处理。
五、验证与常见排错
- 服务与日志：
- 状态：
sudo systemctl status filebeat
- 日志：
sudo journalctl -u filebeat -f 或 sudo tail -f /var/log/filebeat/filebeat.log
- 配置与连通性：
- 语法：
sudo filebeat test config -c /etc/filebeat/filebeat.yml
- 输出连通性（示例）：
curl -X GET "http://<es-host>:9200/" 或到 Logstash/Kafka 对应端口连通性检查
- 权限与路径：
- 确认 Filebeat 对日志目录与注册表目录具备读取/写入权限（如 /var/log/、/var/lib/filebeat/）。